腾讯混元大模子又开源了，此次是文生视频模子。

自 OpenAI 发布 Sora 演示视频以来，要作念中国版 Sora 的声息从未罢手过。在国内，大厂和创业公司都纷繁推出了我方的视频生成模子：快手的可灵、MiniMax 的海螺、生数的 Vidu 以及智谱的 CogVideoX 等，都获取了许多征战者和用户的关心和使用。在这个竞争强烈的赛谈上，现时他们又多了一个选择：腾讯混元文生视频大模子（Hunyuan-Video），腾讯混元大模子在 12 月 3 日稳固上线视频生成才气。

一样要紧的是开源。Hunyuan-Video 已在 Hugging Face 平台及 Github 上发布，包含模子权重、推理代码、模子算法等齐备模子，可供企业与个东谈主征战者免费使用和征战生态插件。此前，腾讯混元已开源了旗下文生文、文生图和 3D 生成大模子。据腾讯混元关连负责东谈主先容，后续还有图生视频模子、视频配音与配乐、驱动 2D 相片数字东谈主期间的开源磋议。

Hunyuan-video 的参数目为 130 亿，官方放出的样片长这么：

HunYuan-Video 的期间架构与窜改特色

结伙图像与视频生成架构

HunyuanVideo 使用了基于 Transformer 的全把稳力机制，用于视频生成。并能杀青主体一致的多视角镜头切换。与"分离的时空把稳力机制"辨认关谨防频中的空间特征和时候特征，比较之下，全把稳力机制则更像一个纯视频模子。

它罗致"双流到单流"的夹杂模子架构，冒失在交融之前辨认处理视频和文本的特征信息，从而杀青更高效的多模态信息交融。

双流到单流模子是指机器学习中的一个框架，非凡是在多模态数据处理的配景下，其中两股落寞的数据流（如文本和图像）最先辨认处理，然后消失成一股单一流进行进一步分析或生成。

MLLM Text Encoder MLLM

HunYuan-Video 使用具有解码器结构的预现实多模态大型言语模子 ( MLLM ) 算作文本编码器。这一筹划增强了图文对都才气，并晋升了模子处理复杂指示的才气。同期，它引入了一个双向特征优化器（bidirectional token refiner）来增强文本特征。

3D VAE 压缩

HunYuan-Video 引入了 3D 神气变分自编码器（VAE），将视频压缩到潜在空间，大幅减少后续处理所需的 token 数目。这使得模子冒失在原始分辨率和帧率下进行现实，同期优化了性能和着力。使得视频生成模子在细节发扬上，非凡是小人脸、高速镜头等场景有显著晋升。

请示重写模子

Hunyuan-Video 还配备了一个请示优化模子（Prompt Rewrite Model），用于诊治用户输入的请示词，使其更稳当模子的偏好。该模子提供两种形状：庸俗形状侧重于会通用户意图，而民众形状则强化视觉质地，包括画面构图和光影成果等方面的发扬。

见解与性能

在千题盲测的定量分析中，Hunyuan-Video 与包括 Gne3 和 Luma 在内的前五名闭源模子进行了比较，在 60 多名专科评估东谈主员评估后，HunyuanVideo 在空洞见解上发扬最佳，非凡是在通顺质所在面发扬较为凸起。

运行 Hunyuan-Video 模子使用文本生成视频的推选建立需要 45GB 的 GPU 内存。

要扛起开源文生视频的大旗？

腾讯混元多模态生成期间负责东谈主凯撒在发布现场暗示，文生视频鸿沟现时存在"抽卡概率"的问题，庸俗用户大多处于尝鲜情景，且现时开源闭源"存在较大的 GAP "，"这亦然咱们为什么开源"。

他屡次提到 Black Forest Labs 旗下 Flux 的开源形状。Flux 通过开源基础模子构建征战者生态，同期保留生意版块防守竞争力，已获取包括 Andreessen Horowitz 的闻明投资机构的投资。

Flux 通过开源政策与 MidJourney 竞争，依托其无邪的社区参与机制、普遍的定制化才气以及对用户指示的高精度反映。比较 MidJourney 的闭源运营，Flux.1 的开源特色迷惑征战者共同优化模子。开源也让 Flux.1 更容易被个东谈主和袖珍团队罗致，从而扩大用户基数。这一形状联接强社区扶植，为开源生态带来了长尾效应，挑战了 MidJourney 的商场主导地位。

"文生图的发展，社区给了很大的力量，好多优秀的底模出来之后学术界、好多东谈主都不错玩起来，作念插件、作念优化，而不是几家闭门觅句。"

举例，Hunyuan-video 推选建立至少需要 45GB 的 GPU 内存，这关于庸俗征战者而言门槛仍然偏高，但社区的力量遮拦小觑。另一个开源视频模子 Mochi 1 需要 4 个 H100 才能保证着力和输出成果，而发布之后，社区就启动尝试措置在显存更低的建设运行 Mochi 1，并征战 ComfyUI 插件。大都征战者提供了过程优化的插件，如动漫格调视频调节器用和低显存扶植模块，进一步缩短了使用门槛。

Mochi 已扶植在 ComfyUI 中使用消耗级 GPU 运行

固然，要让文生视频期间教育，还需攻克一些客不雅繁重。"高质地数据也曾挺缺的。"

此外，现实视频生成模子绕不开的仍然是算力本钱，举例，Meta 的 Movie Gen 使用了多达 6144 个 H100 GPU 进行现实，本钱腾贵。

生意形状方面，Flux 通过提供付费 API 和用于生意哄骗的闭源模子来构建的生意形状。参考 Flux 的作念法，Hunyuan-Video 往日也不错通过 API 等阵势提供更高质地的功绩。现时，Hunyuan-Video 暂时莫得生意化的动作，用户不错在腾讯元宝 APP 免费使用 Hunyuan-Video 的文生视频功能。

"咱们先站出来，搞一个跟闭源水平差未几的模子，给世界用起来"，凯撒暗示，"但愿跟社区一齐把咱们的期间早日推向图像生成鸿沟一样的情景"。

他同期暗示从混元全体期间栈的逻辑启程，作念视频模子是其必经之路，"最终等于唯唯独个 Model "。

不管若何，在 Meta 发布 Movie Gen 后并未说起任何开源事宜的情况下，考虑到视频生成模子的现实本钱和难度，Hunyuan-Video 的出现无疑是开源社区但愿看到的事情。

类比 SD，文生视频现时处于访佛 SD1.5 的情景九游体育娱乐网，接下来就看 Hunyuan-Video 能否进化到下一个阶段了。