DirCast：通过单一的流媒体视频语言模型实现电竞赛事的实时导播与解说

arXiv:2610.31734v1 发布类型：新 提要：一场电子竞技的实时直播需要一位导演来决定哪路摄像机画面该播出，以及一位解说员在每秒钟、且完全不知下一秒将呈现何景的情况下进行解说。流媒体视频语言模型已经学会进行赛事解说，但仅限于由人类导演事先制作完成的直播内容。我们研究的是实时直播制作场景：模型仅接收每位选手的原始摄像头画面，必须凭借过往信息同时完成导播与解说任务。我们提出了 DirCast，一款能够同时胜任这两项工作的单模型流媒体视频语言模型。它每秒以低分辨率扫描所有摄像头，通过“保留”或“切换”的决策机制判断是否以及何时切镜，并在发言前以高分辨率读取所选画面。其上下文会记录已播出的内容以及……