LivePortrait 是由快手科技与中国科学技术大学和复旦大学合作开发的先进 AI 驱动的肖像动画框架。它能够从单个源图像创建栩栩如生的视频动画,通过隐式关键点方法在保证高质量的同时,大幅提高了计算效率。
主要功能• 表情和姿态迁移:将驱动视频中的表情和姿态实时迁移到静态或动态人像上,生成具有丰富表情的视频。
• 高效率:在 RTX 4090 GPU 上,单帧生成速度可达 12.8 毫秒,适合实时应用。
• 泛化能力:通过视频-图片混合训练策略和大规模高质量训练数据,LivePortrait 具备良好的泛化性。
• 可控性:利用隐式关键点和轻量级 MLP 网络,增强了对动画生成过程的控制能力。
• 多风格支持:支持多种风格的人像,包括真人和风格化(如动漫)人像。
• 高分辨率动画生成:支持生成高分辨率的动画,提供更清晰的视觉效果。
• 贴合和重定向模块:设计了贴合模块和眼部、嘴部重定向模块,以适应复杂场景,避免像素错位。 应用场景• 社交媒体内容创作:用户可将自己的照片或视频转换成动态内容,用于社交媒体平台。
• 虚拟主播和直播:创建虚拟形象进行直播或视频制作,适用于游戏直播、教育讲解等。
• 影视和动画制作:在影视后期制作中,用于角色的表情捕捉和动画生成。
• 广告和营销:制作吸引人的广告视频,动态的人物形象来吸引潜在客户的注意力。
• 教育和电子学习:使教育内容通过动画肖像变得更加互动和吸引人。
• 游戏开发:创建逼真的角色动画,增强游戏体验。
• 艺术创作和展览:艺术家可以使用 LivePortrait 将静态肖像照片转化为动态视频,增加作品的互动性和表现力。 应用实例