DirCast: 단일 스트리밍 영상-언어 모델을 활용한 실시간 e스포츠 연출 및 해설

arXiv:2610.31734v1 발표 유형: 신규 초록: 실시간 e스포츠 중계에는 어떤 카메라를 송출할지 결정하는 디렉터와, 그 선택에 대해 매초마다 다음 상황을 예측하지 못한 채 해설을 담당하는 캐스터가 필요합니다. 스트리밍 영상 언어 모델들은 해설 기능을 학습했지만, 이는 이미 인간 디렉터가 제작한 중계 영상을 대상으로 한 것입니다. 우리는 실시간 중계 제작 과정을 연구하며, 여기서 모델은 각 플레이어의 원시 카메라 영상을 입력으로 받아, 과거 정보만을 바탕으로 직접 연출과 해설을 동시에 수행해야 합니다. 우리는 이러한 두 가지 역할을 모두 수행하는 단일 스트리밍 영상 언어 모델인 DirCast를 제안합니다. 매초마다 저해상도로 모든 카메라 영상을 스캔하고, ‘유지’ 또는 ‘전환’이라는 디렉터의 판단에 따라 절차를 결정한 뒤, 선택된 카메라 영상을 고해상도로 읽어들인 후 말을 시작합니다. 모델의 컨텍스트는 지금까지 송출된 내용과 무엇이