2月18日，昆仑万维开源中国首个面向AI短剧创作的视频生成模子SkyReels-V1、中国首个SOTA级别基于视频基座模子的神采算作可控算法SkyReels-A1。
1. SkyReels-V1：Human-Centric Video Foundation Model，中国首个面向AI短剧创作的开源视频生成模子
SkyReels-V1可杀青影视级东谈主物微神采饰演生成，撑捏33种精细东谈主物神采与400+种当然算作组合，高度规复真情面感抒发。正如以下视频所示，SkyReels-V1撑捏生成大笑、吼怒、诧异、血泪等微神采，展现出东谈主物情谊丰沛的饰演细节。即使有大幅度肢体算作，SkyReels-V1生成的微神采也竣工贴合东谈主物肢体饰演。
同期，SkyReels-V1为AI视频生成带来了电影级光影好意思学，基于好莱坞级的高质料影视数据磨砺，面前SkyReels生成的每一帧画面，在构图、演员站位、相机角度等齐具备电影级的质感。不管是单东谈主镜头饰演细节，已经多东谈主构图，面前已具备精确的神采终局和高质感画面。
更伏击的是，SkyReels-V1不仅撑捏文生视频、还能撑捏图生视频，是开源视频生成模子中参数最大的撑捏图生视频的模子，在同瓜辞别率下各表情的杀青开源SOTA。
图1丨SkyReels-V1文生视频看法对比(着手：昆仑万维SkyReels)
简略杀青这么的SOTA级别，不仅依赖于昆仑万维SkyReels团队基于自研的高质料数据清洗和东谈主工标注管线，构建了千万级的高质料电影&电视剧&记录片数据。更依托团队自研“Human-Centric”的视频领会多模态大模子，大幅种植视频中东谈主物筹商的领会本事，尤其是自研东谈主物智能瓦解系统。
说七说八，收获于塌实的数据办事和先进的东谈主物智能瓦解系统，SkyReels-V1不错杀青：
影视化神采识别体系：11种针对影视戏剧中的东谈主物神采领会，如不屑、不安适、无助、厌恶等神采的领会；
东谈主物空间位置感知：基于东谈主体三维重建技巧，杀青对视频中多东谈主的空间相对关系领会，助力模子生成影视级东谈主物站位；
活动意图领会：构建逾越400种活动语义单位，杀青对东谈主物活动的精确领会；
饰演场景领会：杀青东谈主物-服装-场景-剧情的关联分析。
SkyReels-V1不仅是全球少许数开源的视频生成模子，已经围绕东谈主物饰演、开源视频生成模子中性能最强的。
在自研推理优化框架“SkyReels-Infer”的加捏下，大幅种植推理效果，杀青544p辞别率，推理基于单台4090只需80s，还撑捏漫步式多卡并行，撑捏Context Parallel，CFG Parallel，和 VAE Parallel。此外，选拔fp8 quantization以及parameter-level offload，知足低显存用户级显卡启动需求；撑捏flash attention、SageAttention，模子编译优化等，进一步优化延长；基于开源diffuser库，种植易用性。
正如下图2所示，在同等RTX4090资源情况下对比(4卡)，SkyReels-Infer版块比HunyuanVideo官方版块端到端延长减少58.3%(293.3s vs 464.3s)；SkyReels-Infer版块具备更鲁棒的部署计谋，撑捏用户级别显卡1卡-8卡的推理部署。
图2丨推理生成544p视频，使用相似卡数的RTX 4090，SkyReels-Infer版块端到端延长优于HunyuanVideo官方(xdit) 58.3%在同等A800资源情况下对比，SkyReels-Infer版块比HunyuanVideo官方版块端到端延长减少14.7%～28.2%(如图3所示)，SkyReels-Infer版块具备更鲁棒的多卡部署计谋。
图3丨推理生成544p视频，SkyReels-Infer版块具备更鲁棒的多卡部署计谋，撑捏8卡部署
2.SkyReels-A1：首个SOTA级别的基于视频基座模子的神采算作可控算法
为了杀青愈加精确可控的东谈主物视频生成，昆仑万维还开源了SOTA级别的基于视频基座模子的神采算作可控算法SkyReels-A1，对标Runway的Act-One，SkyReels-A1撑捏视频驱动的电影级神采捕捉，杀青高保真微神采规复。简略基于纵情东谈主体比例(包括肖像、半身及全身构图)生成高度传神的东谈主物动态视频，其真是感源自对东谈主物神采变化和表情的精确模拟、皮肤肌理、体魄算作扈从等多维度细节的深度规复。
SkyReels-A1不仅撑捏侧脸的神采终局生成、还能杀青愈加传神的眉眼微神采生成和更大幅度的头部与当然体魄算作。SkyReels-A1简略杀青更大幅度的东谈主物神采驱动。比较Runway的Act-One，SkyReels-A1不错挪动更复杂的神采算作，生成的东谈主物面部样式不错息争肢体及画面实践杀青更秩序井然的饰演。
3.以开源之姿，以破局之势，昆仑万维勉力于于鼓动全球AI短剧创作生态富贵发展
昆仑万维一直坚捏开源，鼓动技巧平权。昆仑万维同期将SOTA级别的SkyReels-V1和SkyReels-A1进行开源，是AI短剧行业首例，亦然昆仑万维SkyReels回馈行业迈出的一小步，更是促进AI短剧创作和视频生成行业枝繁叶茂的一大步。
咱们深信在进行推理优化的升级和可控算法的开源后，它们将为用户带来低本钱、可控性更强的AIGC本事。昆仑万维但愿通过更多优秀视频生成模子的开源和极致的AI短剧产物本事，为用户带来低本钱杀青AI短剧创作的可能性、谮媚行业当今视频生成一致性差的问题，让世界通过我方的电脑生成精细且可控的东谈主物饰演。
这次开源的视频大模子，不仅是一次技巧谮媚，有助于减轻全球实践产业的数字领域，更是文化产业分娩力的一次改进。改日，短剧与游戏、假造现实等范围的跨界发展，将会加快产业交融。AI短剧也有但愿从“技巧实验”迈向“主流创作”，成为全球文化输出的新载体。
“杀青通用东谈主工智能，让每个东谈主更好地塑造和抒发自我”是公司的职责，改日，昆仑万维及SkyReels还将开源更多视频生成模子和算法、通用模子，通过开源杀青AGI平权欧洲杯体育，鼓动AI短剧生态的捏续建设和富贵，促进开源社区、开导生态以及AI行业的发展。