2月18日音讯吴梦菲 反差，昆仑万维开源面向AI短剧创作的视频生成模子SkyReels-V1、基于视频基座模子的神气行为可控算法SkyReels-A1。
开源地址：
SkyReels-V1：https://github.com/SkyworkAI/SkyReels-V1
SkyReels-A1：https://github.com/SkyworkAI/SkyReels-A1
时间敷陈：https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
SkyReels官方地址：skyreels.ai
1. SkyReels-V1：Human-Centric Video Foundation Model，中国首个面向AI短剧创作的开源视频生成模子
SkyReels-V1可达成影视级东说念主物微神气饰演生成，支撑33种密致东说念主物神气与400+种当然行为组合，高度回复真情面感抒发。正如以下视频所示，SkyReels-V1支撑生成大笑、咆哮、骇怪、血泪等微神气，展现出东说念主物心计丰沛的饰演细节。即使有大幅度肢体行为，SkyReels-V1生成的微神气也好意思满贴合东说念主物肢体饰演。
同期，SkyReels-V1为AI视频生成带来了电影级光影好意思学，基于好莱坞级的高质地影视数据造就，现时SkyReels生成的每一帧画面吴梦菲 反差，在构图、演员站位、相机角度等齐具备电影级的质感。不管是单东说念主镜头饰演细节，仍是多东说念主构图，现时已具备精确的神气截止和高质感画面。
更伏击的是，SkyReels-V1不仅支撑文生视频、还能支撑图生视频，是开源视频生成模子中参数最大的支撑图生视频的模子，在同瓜辩认率下各形态的达成开源SOTA。
图1丨SkyReels-V1文生视频主义对比（开端：昆仑万维SkyReels）
不祥达成这么的SOTA级别，不仅依赖于昆仑万维SkyReels团队基于自研的高质地数据清洗和东说念主工标注管线，构建了千万级的高质地电影&电视剧&记载片数据。更依托团队自研「Human-Centric」的视频意会多模态大模子，大幅进步视频中东说念主物关系的意会技艺，尤其是自研东说念主物智能剖析系统。
说七说八，成绩于塌实的数据责任和先进的东说念主物智能剖析系统，SkyReels-V1不错达成：
青萆橾在线视频影视化神气识别体系：11种针对影视戏剧中的东说念主物神气意会，如不屑、不耐性、无助、厌恶等神气的意会；
东说念主物空间位置感知：基于东说念主体三维重建时间，达成对视频中多东说念主的空间相对关系意会，助力模子生成影视级东说念主物站位；
行动意图意会：构建逾越400种行动语义单位，达成对东说念主物行动的精确意会；
饰演场景意会：达成东说念主物-服装-场景-剧情的关联分析。
与此同期，在自研推理优化框架「SkyReels-Infer」的加握下，大幅进步推理恶果，达成544p辩认率，推理基于单台4090只需80s，还支撑散播式多卡并行，支撑Context Parallel，CFG Parallel，和 VAE Parallel。此外，选拔fp8 quantization以及parameter-level offload，兴隆低显存用户级显卡启动需求；支撑flash attention、SageAttention，模子编译优化等，进一步优化延伸；基于开源diffuser库，进步易用性。
正如下图2所示，在同等RTX4090资源情况下对比(4卡)，SkyReels-Infer版块比HunyuanVideo官方版块端到端延伸减少58.3%(293.3s vs 464.3s)；SkyReels-Infer版块具备更鲁棒的部署战术，支撑用户级别显卡1卡-8卡的推理部署。
图2丨推理生成544p视频，使用相似卡数的RTX 4090，SkyReels-Infer版块端到端延伸优于HunyuanVideo官方(xdit) 58.3%
在同等A800资源情况下对比，SkyReels-Infer版块比HunyuanVideo官方版块端到端延伸减少14.7%～28.2%（如图3所示），SkyReels-Infer版块具备更鲁棒的多卡部署战术。
图3丨推理生成544p视频，SkyReels-Infer版块具备更鲁棒的多卡部署战术，支撑8卡部署
2.SkyReels-A1：首个SOTA级别的基于视频基座模子的神气行为可控算法
为了达成愈加精确可控的东说念主物视频生成，昆仑万维还开源了SOTA级别的基于视频基座模子的神气行为可控算法SkyReels-A1，对标Runway的Act-One，SkyReels-A1支撑视频驱动的电影级神气捕捉，达成高保真微神气回复。不祥基于淘气东说念主体比例（包括肖像、半身及全身构图）生成高度传神的东说念主物动态视频，其着实感源自对东说念主物神气变化和心绪的精确模拟、皮肤肌理、躯壳行为陪伴等多维度细节的深度回复。
SkyReels-A1不仅支撑侧脸的神气截止生成、还能达成愈加传神的眉眼微神气生成和更大幅度的头部与当然躯壳行为。SkyReels-A1不祥达成更大幅度的东说念主物神气驱动。比较Runway的Act-One，SkyReels-A1不错移动更复杂的神气行为，生成的东说念主物面部相貌不错合作肢体及画面本色达成更栩栩欲活的饰演。
据先容，昆仑万维一直坚握开源吴梦菲 反差，股东时间平权。昆仑万维同期将SOTA级别的SkyReels-V1和SkyReels-A1进行开源，是AI短剧行业首例。（定西）