中国版Sora来了！清华打造！背后创业公司已融资数亿元

时隔两个月，清华团队打(dǎ)造了一个中国版的Sora视频(pín)大模型。

4月27日(rì)，在中关村论坛(tán)未来人工智能先锋论坛上(shàng)，中国首个长(zhǎng)时长、高一致性、高动态(tài)性视频大模型Vidu正(zhèng)式发布。这一模型由清华(huá)大(dà)学和大模型创业公司生数科技联(lián)合发布(bù)，可以一键生成长度达(dá)16秒、分(fēn)辨率为1080P的高清视频内容。

证券时报记者(zhě)独家获悉，清华(huá)大学人工(gōng)智能研究院副院长、生数(shù)科技首席(xí)科学家(jiā)朱军(jūn)在Vidu发(fā)布(bù)后发声表示：“Vidu，we do, we did, we do together！感谢小(xiǎo)伙(huǒ)伴们日以继夜的坚持，在实验室架构上开(kāi)花结果。”据介绍，这也是(shì)自OpenAI发布(bù)Sora以后，全球率先取(qǔ)得重大突破的视频大模型。

Sora发(fā)布后，行(xíng)业内一(yī)直有团队宣称要追赶和复(fù)现Sora，而Vidu团队(duì)用两(liǎng)个月的(de)时(shí)间率(lǜ)先跑出来。记者梳(shū)理发(fā)现，生(shēng)数科技在多模态大(dà)模型领域已经有较深(shēn)的积累，也是目前多模态大模型赛道估(gū)值最高的初(chū)创公司之一。目前公司已完成三轮(lún)融资，融资额(é)达(dá)数亿元人民币，投资方包括启明创投(tóu)、智谱AI、BV百度风投、锦(jǐn)秋基(jī)金等一众机构。

对标(biāo)Sora，生成视频连贯高清

“画室(shì)里的(de)一艘船驶向镜头”，只需要输入这样一(yī)句简单(dān)的指令，即可以生成效果(guǒ)逼真、镜(jìng)头连贯的一段视(shì)频。在生数科技发布的(de)Vidu模型生成视频样片中，视频的整体质(zhì)感(gǎn)几(jǐ)乎可与Sora相媲美。

据生(shēng)数科技(jì)介绍，Vidu模型采用团队原创的(de)Diffusion与Transformer融合的架构U-ViT，支(zhī)持一键生成长达(dá)16秒、分(fēn)辨率高达1080P的(de)高清视频内(nèi)容。“U-ViT架构早(zǎo)在2022年9月就(jiù)由团队提出，早于Sora采用的DiT架构，是全球首个Diffusion与(yǔ)Transformer融合的架构(gòu)。”生(shēng)数科(kē)技表示。

记者注意到，今(jīn)年3月生数科技完成新一轮融资后，公司就公开表示，虽然Sora的出现表明美国在多模态大模型领域(yù)具有领(lǐng)先性，“但中国也并非完全从零开始的阶段”。据介绍，朱军在2023年1月(yuè)就提出了基于Transformer的多模(mó)态扩散大模(mó)型UniDiffuser，采用(yòng)了U-ViT，该架(jià)构与Sora的架构路线完全一致，区(qū)别在于UniDiffuser主要应用于图像生成任务，但也可以以此为基础进行视频任务的拓展。

正是基(jī)于在机器学习(xí)和多(duō)模(mó)态大模型的长期积累，团队才能够在短短的两个月时间里突破了长视频表示与处理的多项关键技术，成功研发推出Vidu视频大模型。朱军在Vidu模型发布现(xiàn)场表示(shì)，Vidu主要有以下方面的特点与优势：

一是(shì)模拟真实物理(lǐ)世界，可以生(shēng)成复(fù)杂、细(xì)节丰富的场(chǎng)景，光影(yǐng)效果与人物表情(qíng)都能够符合真(zhēn)实的物理规律(lǜ)。

二是(shì)富有想象力，可以虚构场景以及想象超现(xiàn)实主义的画面。

三是具有多镜头语言，不再局限于固定镜(jìng)头(tóu)，能够在遵循主体一致性的情况下实现远景(jǐng)、近景、中景、特写等(děng)不同(tóng)镜头(tóu)的动态切换，还可以实现(xiàn)长镜头、追焦等效果。

四是有出色的视频时长，能(néng)支持16秒长(zhǎng)度的视频生成(chéng)，保(bǎo)持镜(jìng)头和主体的连贯一(yī)致。

五是能理解中国元素，可以更好地理(lǐ)解生成熊猫、龙等富有(yǒu)中国(guó)文化特色的形象。

Vidu生成的龙(lóng)、熊猫等(děng)中国(guó)文化元素视频(pín)

背(bèi)后团队来自清华，已(yǐ)融资数亿(yì)元(yuán)

Vidu的背后，是(shì)一家来自清华的明星创业公司生数科技。

公开资料显示，生数科技成立于2023年3月，核心成员来自清(qīng)华大(dà)学(xué)人工(gōng)智能研究院(yuàn)，致力(lì)于自(zì)主(zhǔ)研(yán)发世界领先的可(kě)控多模态通用大模型。公司(sī)的CEO本硕就(jiù)读于(yú)清华大学计算机系的(de)唐家渝，首席科学家由清(qīng)华人工智能研究院副院长朱军担任，CTO鲍凡(fán)则是清华大学计算机系博士生、朱(zhū)军教授的课题组成员，长期关注扩散模型领域(yù)研究(jiū)。

记者注意到，今年3月，唐家渝曾在沟(gōu)通会上向(xiàng)媒体表示，今年内(nèi)公司的大模型一定能达到Sora目前(qián)版本的效果(guǒ)，“但很难说是三个月还是(shì)半年”。然而，Vidu却提前(qián)交出了(le)一份令人惊艳的考卷，这主要得益于团队(duì)是国内最早布局多模态大模型的(de)团队(duì)之一，多年(nián)以来在(zài)这一领域形成了深厚的积累。

据唐家渝介绍，生数科技目前采取(qǔ)模型层和应用(yòng)层两条(tiáo)路走(zǒu)路的模(mó)式。一(yī)方面，构建覆盖文本、图(tú)像(xiàng)、视频(pín)、3D 模型等多模态能力的底层通用大模型，面向B端(duān)提供模型服务能力；另一(yī)方面，面向图像生成、视频生成等(děng)场景打造垂(chuí)类应用，按照订阅等形式收费，应(yīng)用方向主要是游戏制作、影视后期等内容创作场景。

记(jì)者梳理(lǐ)发现，生(shēng)数科技自成立以来就备受(shòu)资本(běn)关注。天眼查数据显示，生数(shù)科技目前共完成3轮融资。2023年6月，完成(chéng)近(jìn)亿元人民币天使轮融资，投(tóu)资方包括蚂蚁集团、BV百度风投、卓源亚洲、卓源资本；2023年8月，完成数千万人民币天使(shǐ)+轮融资，投资方为锦秋基金；2024年3月，完成数亿(yì)元人民币A轮融资，投资方除了启明创投、达泰资本、智谱AI等新机构以外(wài)，还有BV百度风投、卓(zhuó)源亚洲两个老股东。

在三轮(lún)融资总(zǒng)计数亿元人民币的资本加持(chí)下，生数科技已成为目前国内多模态大(dà)模型(xíng)中估值最高的初(chū)创公司(sī)之一。生数科技表示，Vidu的(de)问世不仅是U-ViT融合架构在大规模视(shì)觉任务中的(de)又一次成功(gōng)验证，也代表了生数科(kē)技在(zài)多模态原生大模型领域的持续创新能力和领先(xiān)性。

责编：朱雨蒙

校对：冉燕青

时隔两个月，清华团队打造了一个中国(guó)版的Sora视频大模(mó)型。

4月27日，在中关村论坛未来人工智能先锋论(lùn)坛上，中国(guó)首个(gè)长(zhǎng)时(shí)长、高一致性、高动态性视频大模(mó)型Vidu正(zhèng)式发布。这(zhè)一模(mó)型由清华大(dà)学和(hé)大模型创业公司生数(shù)科技联(lián)合发布，可以一键生成长度达16秒、分辨率为1080P的高清视频内容。

证券时报记者独家获悉，清华大学人工智能研究院副院长、生数科技首席科学家朱军在Vidu发布后发声表示：“Vidu，we do, we did, we do together！感谢小伙伴们日以继夜的坚持，在实验室架构上开(kāi)花结果。”据介绍，这也是自OpenAI发布Sora以后，全球率先取得重大(dà)突(tū)破的视频大模型。

Sora发(fā)布后，行业内一直有团队宣(xuān)称要追赶和(hé)复现Sora，而Vidu团队用两个月的时间率先跑出来(lái)。记者梳理发现，生数科技在多(duō)模态大(dà)模型领域已经有较(jiào)深的积累，也是目前多模态大模型赛(sài)道(dào)估值最高的初创公司之一。目前(qián)公(gōng)司已完成三(sān)轮融资，融资额(é)达数亿元人(rén)民币，投资方包括启明创投、智(zhì)谱AI、BV百度风(fēng)投、锦(jǐn)秋基金等一众机构。

对标Sora，生(shēng)成视频连贯(guàn)高清

“画室里的一艘船驶向镜头”，只需要输入这样一句简单的指令(lìng)，即可(kě)以生成效果逼真、镜头连贯的一段视频。在生数科技发(fā)布的(de)VIDC：2023下半年中国IT服务市场规模同比增长4.6%idu模型生成(chéng)视频样片中，视频的整体质感几乎可与Sora相媲美。

据(jù)生数科技介绍，Vidu模(mó)型采用团队原创的Diffusion与(yǔ)Transformer融合的架构U-ViT，支持一键生成长达16秒(miǎo)、分(fēn)辨(biàn)率高达1080P的高清视频内容。“U-ViT架构早在(zài)2022年9月就由团(tuán)队提出，早于Sora采用的DiT架构，是全球首个Diffusion与(yǔ)Transformer融合的架构。”生数科技表示。

记(jì)者(zhě)注意到，今年3月生数科技完(wán)成新一轮融资(zī)后，公司就(jiù)公开表示(shì)，虽然Sora的(de)出现(xiàn)表明美国在多模态大模型领域具有领先性，“但中(zhōng)国也并(bìng)非完全从(cóng)零开始的阶(jiē)段”。据介绍，朱军在2023年1月就(jiù)提出了基于Transformer的多模(mó)态扩散大模型UniDiffuser，采用了U-ViT，该(gāi)架构与Sora的架构路线完全一致，区别在(zài)于 UniDiffuser主要应用(yòng)于图像生成任务，但也可以以(yǐ)此为基(jī)础进行视频任务(wù)的拓展。

正是基于在机器学习和多模态大模(mó)型的长期积累，团队才能够在短短的(de)两个月(yuè)时间里突破了长视(shì)频(pín)表示与处理(lǐ)的多项关键(jiàn)技术，成功研(yán)发推出Vidu视频大模型。朱军(jūn)在(zài)Vidu模型发布现场表示，Vidu主要有以下方(fāng)面的特点(diǎn)与优(yōu)势：

一是模拟真实物理世界，可(kě)以(yǐ)生成复杂、细节(jié)丰富的场景，光影效果与人物表情都能够符合真实的物理规律。

二(èr)是富有想象力，可以虚构场景以及想象超现实主(zhǔ)义的(de)画面。

三是具有多(duō)镜头语(yǔ)言(yán)，不再局限于固定镜头，能够在遵循主体一致(zhì)性的情况下实现远景、近景、中景、特写等不同(tóng)镜头的(de)动态切换，还可以实现长镜头、追焦等效果。

四是有出色的视频时长，能支持16秒长度的视频生成(chéng)，保持镜头和主(zhǔ)体的连贯一(yī)致。

五是能理解中国元素(sù)，可以(yǐ)更(gèng)好地理(lǐ)解生成熊猫、龙等富有中国文化特色(sè)的(de)形象。

Vidu生成(chéng)的龙(lóng)、熊猫等中国文化元素视频

背后团队来自清(qīng)华，已(yǐ)融(róng)资数亿元(yuán)

Vidu的背后，是(shì)一家来自清华的明星(xīng)创(chuàng)业公司生数科(kē)技(jì)。

公开资料显示，生数科技成立于2023年3月，核心成(chéng)员来(lái)自(zì)清华大学(xué)人工智能研究院，致力于自主研发(fā)世界(jiè)领先的可控多模态通用大模型。公司的CEO本硕就读于清华大(dà)学(xué)计算机系的唐家渝，首席科学家由清华人工智能研究(jiū)院副院长朱军担任，CTO鲍凡则是清华大(dà)学计算机系博士生、朱军教(jiào)授的课(kè)题(tí)组成员(yuán)，长期关注扩散模型领域研究。

记者注(zhù)意到，今年(nián)3月，唐(táng)家渝曾(céng)在沟通会上向媒体表示，今年内公司的大模型一定能达到Sora目前版本的(de)效(xiào)果，“但很难说是三个月还是半年”。然而，Vidu却提前交出(chū)了一(yī)份令(lìng)人惊(jīng)艳的(de)考卷，这主要得益于团队是国(guó)内最早布局多模(mó)态大模型的团队之一，多年以来在这一领域形(xíng)成了深厚的积(jī)累。

据(jù)唐家渝介绍，生数科技目前采取模型层和(hé)应用层两(liǎng)条路(lù)走路(lù)的模式。一方面，构建覆盖文本、图像、视频、3D 模型等多模态能(néng)力(lì)的底层通(tōng)用大模型，面向B端提供模型服务能力；另(lìng)一方面，面(miàn)向图(tú)像生成、视频生成等场景打造垂类应用，按照订阅等形式收费，应用方向主要是游戏制作、影视后期等内容创作场景。

记者梳理(lǐ)发现(xiàn)，生(shēng)数科技自成立以来就备受资本关注。天眼查数据显示，生数(shù)科技(jì)目前共完(wán)成(chéng)3轮融资。2023年6月，完成近亿元人民币天使轮(lún)融资，投资方包括蚂蚁集团(tuán)、BV百度风投、卓源亚洲、卓源资本；2023年8月，完(wán)成数千万(wàn)人民(mín)币天使+轮融资，投资方(fāng)为锦秋基金；2024年3月(yuè)，完(wán)成数亿元人民币A轮融(róng)资，投资方除了启明(míng)创(chuàng)投、达(dá)泰资本(běn)、智谱(pǔ)AI等新(xīn)机构以外，还有BV百度风投、卓(zhuó)源亚洲两个(gè)老股东。

在三轮(lún)融资总计数亿元人(rén)民币的资本加持下，生数科技已(yǐ)成为目前国内多模态大模型中(zhōng)估值最高(gāo)的初创公司之(zhī)一。生数科技表示，Vidu的问世不仅是U-ViT融合(hé)架构在大规(guī)模(mó)视觉任务(wù)中的又一次(cì)成功(gōng)验证，也代表了生数(shù)科技在多模(mó)态原生大模(mó)型领域的持续创(chuàng)新能力和领先性(xìng)。