우리가 디자인 에이전트를 어떻게 구축했는지
LangChain이 Slack에서 브랜드에 맞는 동영상, 그래픽 및 프레젠테이션을 제작하는 오픈소스 디자인 에이전트인 Content Studio와 이를 구동하는 하네스를 어떻게 구축했는지.
AI NEWS JOURNAL
AI 뉴스 검색
제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
오디오-언어 모델에서의 제어 가능한 화법 캡션 작성에 대한 벤치마크
arXiv:2610.33036v1 발표 유형: 신규 초록: 화법 캡션 작성(SSC)은 목소리의 음색, 억양, 표현력 등과 같은 언어 외적 특성을 포착하여, 말이 전달되는 방식에 대한 자연스러운 언어 설명을 생성하는 것을 목표로 합니다. 대화형 AI 에이전트, 제어 가능한 음성 생성, 대규모 오디오 주석 작업 등 많은 하위 애플리케이션에서는 단일한 통합되지 않은 설명이 아니라, 발화자의 특성, 감정, 전달 스타일 등 특정한 측면을 구체적으로 묘사하는 차원별 스타일 캡션을 필요로 합니다. 그러나 기존 연구들은 제어 가능한 화법 캡션 작성에 대한 통일된 정식화가 부족한 실정입니다. 우리는 이 격차를 해소하기 위해 SSC를 명시적인 지침이 화법의 특정 차원을 규정하는 지침 준수형 오디오-언어 과제로 정식화합니다.