본문으로 건너뛰기
AI NEWS JOURNAL
긱파크AI NEWS / JOURNAL

즉시몽은 시나리오, 연출, 편집을 하나의 스튜디오에 통합했고, 우리는 영상 생성의 다음 단계를 목격했습니다.

단편 드라마 제작자들에게 가장 부족하지 않은 것은 아마도 새로운 이야기의 영감일 것입니다. 일상적인 창작 과정에서 새로운 인물 설정, 갈등이 있는 한 장면, 심지어 우연히 접한 사회 뉴스 하나까지도 다음 단편 드라마의 출발점이 될 수 있습니다. 하지만 단편 드라마 업계의 생산 속도는 점점 더 빨라지고 있습니다. 팀은 여러 프로젝트를 동시에 진행하며, 기존 시리즈의 업데이트를 보장하는 동시에 끊임없이 새로운 소재를 발굴하고 새로운 스토리를 개발해야 합니다. 좋은 아이디어가 실제로 작품으로 탄생하기까지는 대본 작성, 캐릭터 설계, 콘티 제작, 영상 생성, 후반 편집 등 다양한 단계를 거쳐야 합니다. 만약 어떤 도구가 아이디어에서 바로 시작해 이후 제작 과정을 하나로 연결해 준다면 어떨까요? 이것이 바로 지몽이 해결하려는 문제입니다. 하나의 이야기 영감을 바탕으로, 지몽은 캐릭터 설정과 극적 갈등, 대본을 보완하고 자동으로 콘티를 분할해 줍니다. 제작 단계에 들어서면 창작자는 마치 감독처럼 인물 배치와 카메라 워크를 구성하고, 최종 생성 전에 전체 장면을 미리 연출해 볼 수 있습니다. 영상 생성 후에도 특정 장면을 부분적으로 수정하거나 인물 및 장면 에셋을 재사용해 후속 에피소드를 지속적으로 제작할 수 있습니다. 이러한 모든 것이 바로 지몽이 10월 26일에 출시한 ‘단편 드라마 스튜디오’에서 구현하고자 하는 경험입니다—지몽은 대본 작성, 캐릭터 및 장면 자산 관리, 콘티 설계, 영상 생성, 후반 편집을 하나로 연결합니다. 지난 두 해 동안 AI 영상 모델 간의 치열한 경쟁으로 인해, 고품질 영상을 생성하는 일이 점차 일상화되고 있습니다. 영상 생성 품질이 점점 더 많은 영상·영화 창작 현장의 요구를 충족시키기 시작하면서, 이제 경쟁의 초점은 창작 도구로 옮겨져 창작 프로세스를 지속적으로 고도화하고, 아이디어에서 완전한 작품으로 이르는 시간을 더욱 단축하는 데 맞춰지고 있습니다. 01 모든 창작은 하나의 프로젝트 안에서 이루어진다 올해 들어 영상 생성 모델의 급격한 발전으로 인해, AI를 활용해 한 편의 드라마를 완성하는 일이 더 이상 공허한 이야기가 아니며, 점점 더 많은 콘텐츠 제작자들이 이를 시도하고 있습니다. 언론이 중국 네트워크 시청각 협회 자료를 인용한 바에 따르면, 올해 상반기 각 플랫폼에 공개된 마이크로 단편 드라마 가운데 AI 콘텐츠가 차지하는 비중은 이미 74%를 넘어섰습니다. 다시 말해, 새로 공개되는 단편 드라마 네 편 중 거의 세 편이 AI 콘텐츠를 포함하고 있다는 뜻입니다. 그러나 창작자 입장에서는 AI를 이용해 단편 드라마를 제작하는 일이 여전히 쉽지 않습니다. 먼저 대규모 언어 모델로 대본을 작성한 뒤, 인물 설정을 정리하고 캐릭터 참고 이미지를 생성한 다음, 이야기를 수십 또는 수백 개의 콘티로 세분화해야 합니다. 영상 소스가 모두 준비되면 다시 편집 소프트웨어에 불러들여 편집 리듬을 재조정하고 더빙 및 후반 작업을 마무리해야 합니다. A

번역 서비스가 일시 중지되어 원문을 표시합니다.

重构 AI 短剧制作流程。

对于短剧创作者来说,最不缺的可能就是新的故事灵感。

在日常创作中,一个新的人物设定、一段有冲突的情节,甚至刷到的一条社会新闻,都可能成为下一部短剧的起点。

但短剧行业的生产节奏越来越快。团队可能同时推进多个项目,既要保证已有剧集的更新,又要不断寻找新题材、开发新故事;好创意从提出到真正变成作品,中间还需要经历剧本创作、人物设定、分镜设计、视频生成和后期剪辑等一系列环节。

如果有个工具,能够直接从 idea 出发,把后续的制作流程串联起来,会怎么样?

这正是即梦在尝试解决的问题。

从一个故事灵感出发,即梦可以辅助完善人物设定、剧情冲突和剧本,并自动拆解分镜;进入制作阶段,创作者可以像导演一样安排人物站位、运镜,并在正式生成前预演整场戏;视频生成后,还能局部修改镜头、复用人物与场景资产,持续制作后续剧集。

这些,是即梦在 10 月 26 日上线的「短剧工作室」想要实现的体验——即梦将剧本创作、角色与场景资产管理、分镜设计、视频生成和后期编辑串联起来。

这两年,AI 视频模型的激烈竞争,让生成一段高质量视频逐渐成为日常。当视频生成质量已经能够满足越来越多影视创作场景的需求,竞争的焦点也开始转向创作工具,持续完善创作流程,进一步缩短从一个想法到一部完整作品的距离。

所有创作,都发生在同一个项目里

今年以来,随着视频生成模型的飞速进化,用 AI 完成一部剧集不再是空话,也是越来越多内容创作者尝试的方向。据媒体援引中国网络视听协会的数据,今年上半年,各平台上线的微短剧中,AI 内容占比已经超过 74%。换句话说,每上线四部短剧,就有接近三部涉及 AI 内容。

对于创作者来说,想用 AI 制作一部短剧,依旧并不简单:先用大语言模型写剧本,再整理人物设定、生成角色参考图,接着将故事拆解成几十甚至上百个分镜。等到视频素材准备完毕,还要导入剪辑软件,重新调整节奏、完成配音和后期制作。

AI 固然能够生成质量很高的画面,创作者仍然需要花费大量精力,将这些分散的素材和工作组织起来。

而这恰好是「即梦短剧工作室」最想要解决的问题,让创作者能够在同一个项目中完成从剧本到视频的制作。

从最开始的创作起点出发,即梦提供了三种:从一句话灵感开始创作、将小说等已有 IP 改编为短剧,或者直接导入完整剧本。

如果只有初步想法,可以交给 DreamScript 剧本模型继续完善。它能够围绕故事设定,辅助生成角色小传、人物关系、故事大纲和剧本正文,并进一步梳理剧情冲突与叙事节奏。

比如,你想拍一部关于职场的短剧,最初可能只有一个设定:「一个刚入职的年轻人,发现自己的直属领导竟然是十年前失联的父亲。」接下来,创作者可以让 AI 补充两个人的背景、设计他们重逢时的冲突,再逐步扩展成包含具体场景、人物动作和对白的剧本。

这意味着,即使创作者手里只有初步的故事想法,也可以直接开始创作。把想法变成剧本,往往是创作最难迈出的第一步,而借助「即梦短剧工作室」,就这样被解决了。

即梦短剧工作室|图片来源:极客公园

当然,如果创作者本身就是编剧,或者手里已经有成熟的小说 IP,也可以直接上传文本,让 AI 提取其中的人物关系、场景和故事结构,进一步完成短剧化改编。

剧本完成后,「即梦短剧工作室」会自动识别其中的人物背景、关系设定和场景描述,整理出角色设定及对应的生成提示词,供创作者确认;之后便会生成整部短剧所需的角色和场景资产,并关联到相应的分镜。

这是「即梦短剧工作室」值得关注的另一个功能点。

任何影视作品中都包含大量反复出现的人物和场景,但 AI 生成却很难保持一致。比如,一部古装短剧的女主角,可能上一场戏还在宫殿中与人对峙,下一场就出现在街道上,随后又回到书房。如果每个镜头都独立生成,很容易出现人物五官、发型、服装前后不一致,甚至同一个房间的布局也发生变化的情况。

为了减少这些问题,之前的做法是,创作者通常需要反复上传人物参考图、补充场景描述,再逐一检查生成结果。

资产库页面|图片来源:即梦

更重要的是,这些资产还可以在后续剧集中继续使用。对于需要连续更新的短剧来说,创作者可以沿用上一集的人物、场景和故事设定,在已有项目的基础上继续制作下一集。

至此,一部短剧从最初的故事灵感,逐渐形成了完整的剧本、分镜,以及可以反复调用的人物和场景资产。大量原本需要手动整理、跨工具协调的前期工作,现在可以在同一个项目中完成。

故事已经准备好了,接下来,就是如何把它准确地拍出来。

AI 拍戏,也能排练了

对于用过 AI 视频生成工具的人来说,应该都遇到过这样的情况:脑海里明明已经有了非常清晰的画面,但无论怎么调整提示词,生成结果总是差了那么一点意思。

比如,一场男女主角对话的戏,希望镜头先从女主角背后拍摄男主角,再缓缓推进,最后停留在男主角的面部特写上。

在真人拍摄时,导演可以直接告诉摄影师,演员应该站在哪里、摄影机应该怎么运动。但在 AI 视频创作中,这些要求只能尽量通过文字提示词表达,即使再详细,AI 也未必能准确理解人物的空间关系和运镜方式。

于是,创作者只能反复修改提示词、重新生成,然后进入一种循环:人物站位对了,运镜却不对;运镜对了,人物动作又出了问题。

这也是 AI 视频创作者常说的「抽卡」。新一次的生成有带来惊喜的概率,但也意味着时间和算力的消耗。

「即梦短剧工作室」提供的解决思路是,把一部分原本需要在生成过程中反复尝试的创作决策,提前到正式生成之前。

其中有个功能,叫作「短剧导演台」。创作者可以进入 3D 空间,安排演员站位、道具位置、摄影机角度,以及镜头的运动轨迹。还是前面那场男女主角对话的戏,创作者可以先把两个人放到指定位置,再调整摄影机的机位,让镜头从女主角身后开始拍摄,随后设置摄影机向男主角推进的路径。如果觉得构图不够好,可以直接调整机位;如果人物之间的距离不合适,也可以重新安排站位。确定好的构图和运镜信息,还可以提供给视频生成模型,作为正式生成时的参考。

3D 导演台页面截图|图片来源:极客公园

下一个难题是,创作者需要考虑多个镜头连接起来之后的整体效果。

经常出现的情况是,单独看每个镜头都没有问题,但把它们连接起来之后,可能会发现人物反应太慢、镜头切换太频繁,或者剧情的情绪没有达到预期。如果等到所有视频都生成完毕才发现这些问题,修改起来就会比较麻烦。

为此,「即梦短剧工作室」提供了「智能预演」功能。创作者可以在正式生成高质量视频之前,先将多个分镜串联起来,预览整场戏的剧情节奏、人物动作和镜头衔接,再决定哪些地方需要调整。

最重要的是,不管是短剧导演台,还是智能预演,都大幅降低了创作者试错的成本。

根据即梦官方数据,用生成一段 8 秒视频的成本,就可以预演一场长达 1 分 13 秒的戏,相当于以约 10% 的成本提前验证整场戏的效果。对于需要制作大量镜头的短剧来说,这意味着创作者可以先用较低的成本检查整场戏,再决定是否投入更多算力正式生成。

智能预演视频|视频来源:即梦

即使已经生成了视频,后续也可以通过局部重拍、配音、音频分离、智能切分镜头等功能继续调整。例如,某个镜头的表演不够理想,可以针对这一部分重新制作,无须连带修改其他已经完成的内容。

而除了减少试错带来的额外开支,视频生成本身的价格,也直接关系到短剧创作者的制作预算。

于是,这次短剧工作室上线的同时,即梦还推出了双十一限时优惠活动。其中,年卡套餐 4.5 折起。在相应优惠条件下,Seedance 2.5 视频生成价格最低可达到 0.19 元/秒,通过 CLI 使用则最低可达到 0.18 元/秒。

按照每秒 0.19 元的最低价格,生成一分钟视频,对应的基础生成费用约为 11.4 元。当然,这只是按视频时长计算的基础生成费用,实际制作还需要考虑不同套餐、生成次数以及修改过程中的额外消耗。

对于需要批量制作短剧的创作者来说,单位生成价格的下降,可以进一步降低制作预算。加上导演台、智能预演和局部修改等能力,创作者也有机会减少无效生成,将更多算力投入最终作品。

从镜头设计、预演到正式生成,即梦正在让 AI 短剧制作变得更加可控,也让创作者有机会以更低的成本完成作品。

到持续运转的创作空间

随着 AI 模型逐渐具备处理实际工作任务的能力,用户对 AI 产品的期待,也不止于完成某项具体任务。

过去,产品按照技术能力划分边界;现在,产品开始围绕用户的完整任务重新组织能力。

在办公场景中,随着 Agent 逐渐进入实际工作流程,字节跳动也开始推动飞书、豆包、火山引擎等产品之间的能力协同,让原本分散的模型、工具和业务流程更紧密地连接起来。

类似的变化,也在视频创作领域发生。

此前,即使在字节跳动自己的产品体系内,AI 创作能力也分布在不同平台上:即梦主要提供 AI 图片和视频生成能力,小云雀则更侧重通过 Agent 完成短剧等内容的创作任务。

此次「短剧工作室」上线的同时,即梦也整合了小云雀的短剧 Agent 能力,将原本分散在不同产品中的能力连接起来。

值得注意的是,这并不意味着两款产品的合并。此前市场上曾出现相关传闻,但据我们了解,即梦与小云雀目前仍然是剪映旗下独立的 AI 内容创作平台。

这也体现出 AI 产品整合的另一种路径:保留各自的产品形态,同时通过能力层面的连接,让用户能够在一个平台中完成更完整的工作。

走向完整创作平台的思路,也体现在短剧工作室的产品设计中。

例如,即梦同时提供「自由画布」和「有序故事板」两种创作方式。

在自由画布中,创作者可以把不同版本的人物造型、场景和镜头参考放在一起,反复尝试视觉方案;进入正式制作后,又可以切换到有序故事板,按照剧本顺序组织镜头、推进制作。两种方式共享创作素材,让创意探索与实际生产能够在同一个项目中衔接。

画布模式|图片来源:极客公园

当创作规模进一步扩大,平台还需要解决更实际的问题。

一部连续更新的短剧,可能累积数百个镜头和大量素材节点,随着剧集数量增加,数量还会不断扩大。为此,即梦针对大规模画布进行了性能优化。根据官方介绍,即使画布中积累上千个素材节点,仍能保持较为流畅的拖拽、缩放和撤销体验。

面向专业制作团队,即梦还提供多账号资产管理、积分管理等能力,帮助团队集中管理创作资源。

这些功能听起来或许不如新一代视频模型的发布那样令人兴奋,却几乎都来自真实的创作需求:如何探索创意、组织镜头、管理大量素材,以及让团队协作更加顺畅。

重置转绘对比|图片来源:即梦

当高质量视频生成能力逐渐普及,AI 创作工具的竞争也开始从模型能力延伸至完整的工作流程。真正拉开产品差距的,是能够深刻理解创作者需求,并将这些能力整合为顺畅的创作体验,让创作者持续、稳定地完成作品。

即梦「短剧工作室」的出现,正是这一趋势的体现。它将繁琐的步骤整合到同一个创作环境中,并通过 Agent 串联不同环节,让创作者能够把更多精力放在故事、节奏和审美判断上。

而对于创作者来说,技术进步最终的意义,或许就是让他们少花一些时间与工具周旋,多花一些时间思考,究竟想讲怎样的故事。

*头图来源:视觉中国

本文为极客公园原创文章,转载请联系极客君微信 geekparkGO

자료 출처

원문 읽기 ↗

관련 주제

← 전체 소식 이어 읽기