요약: AI 애플리케이션은 종종 추론이 필요한지 여부를 판단하기에 앞서 모델을 호출합니다. 이러한 기본 동작은 모호한 생성 작업에는 유용하지만, 구조화되고 결정적이며 정책 기반 또는 조회 중심이거나 직접 검증 가능한 작업에는 적합하지 않습니다. KORA는 결정적 우선 실행 제어를 도입합니다. 이는 요청을 작업 경로로 표현하고, 먼저 결정적 또는 구조화된 경로를 시도하며, 경로 결과를 검증하고 텔레메트리를 기록한 뒤, 결정적 처리로는 충분하지 않을 경우에만 모델 기반 경로로 에스컬레이션하는 사전 추론 제어 계층입니다. 본 논문에서는 KORA를 결정적 우선 실행 제어 아키텍처로 제시하고, 재현 가능한 벤치마크 및 검증 워크로드에서 얻은 제한된 증거를 보고합니다. 재현 가능한 100개의 결정적 비중이 높은 작업으로 구성된 벤치마크에서, KORA가 제어하는 실행 방식은 단순히 직선적으로 진행되는 나열형 기준 대비 100건 중 80건의 모델 호출을 피했으며, 결정적 하위 집합에서는 일치하지 않는 사례가 전혀 없었습니다. 해당 워크로드는 의도적으로 결정적 요소가 많은 구성을 취하고 있으며, FAQ 조회, 정책/규칙 검사, 스키마 또는 형식 검증, 결정적 변환 등의 카테고리와 함께 모델이 필요로 하는 모호하거나 생성적인 작업들도 일부 포함됩니다. 또한 별도의 합성 고객 지원 로컬/네트워크 미사용 검증 워크로드를 통해, 애플리케이션 형태의 환경에서 경로 측정과 모델 호출 회피 효과를 입증했습니다. 이러한 결과들은 문서화된 워크로드에서 모델 호출 감소와 검증 가시성의 제한된 증거를 뒷받침하지만, 생산 환경에서의 실제 동작, 실질적인 제공자 성과, 에너지 효율성, API 비용 절감 또는 광범위한 우월성을 입증하는 것은 아닙니다.
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.