摘要：在许多AI应用中，系统通常会先调用模型，然后再判断是否有必要进行推理。这种默认机制对于那些存在歧义的生成任务颇为有用，但与结构化、确定性、受策略约束、以查找为主或可直接验证的任务却并不匹配。KORA提出了一种“确定性优先”的执行控制机制：通过一个预推理控制层，将请求表示为任务路径，优先尝试确定性或结构化的执行路径，对路径结果进行验证并记录遥测数据，仅当确定性处理无法满足需求时，才转而采用模型候选路径。本文将KORA作为一种“确定性优先”的执行控制架构加以介绍，并基于可复现的基准测试与验证工作负载提供了有限的实证证据。在一项包含100个任务、以确定性任务为主的可复现基准测试中，与朴素的直接执行基线相比，KORA控制下的执行避免了100次模拟模型调用中的80次，且在确定性子集中未出现任何误判。该工作负载刻意以确定性任务为主，涵盖常见问题解答查询、策略/规则校验、模式或格式验证、确定性转换等类别，同时辅以少量需要模型处理的模糊或生成任务。此外，另一项针对客户支持场景的合成本地/无网络验证工作负载，也在贴近实际应用的环境中展示了路径选择的度量效果以及模型调用的规避情况。这些结果表明，在既定的工作负载下，KORA能够实现模型调用的有限削减，并提升验证过程的透明度；但尚不足以证明其在生产环境中的表现、真实服务商的成效、能源消耗的降低、API成本的节约，亦无法断言其全面优于其他方案。
提交历史
访问论文：
查看PDF
HTML（实验性）
TeX源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
Google 学术搜索
Semantic Scholar
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的组织，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于这些价值理念，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。