蚂蚁集团开源 EchoMimic:支持为人像照片对口型、生成肖像动画视频


蚂蚁集团发布了开源项目 EchoMimic。据介绍,EchoMimic 不仅能根据人像面部特征和音频来帮人物对口型,还可以结合面部标志点和音频内容生成较为稳定、自然的视频。

GitHub:https://github.com/BadToBest/EchoMimic

EchoMimic 具备较高的稳定性和自然度,通过融合音频和面部标志点(面部关键特征和结构,通常位于眼、鼻、嘴等位置)的特征,可生成更符合真实面部运动和表情变化的视频。

其支持单独使用音频或面部标志点生成肖像视频,也支持将音频和人像照片相结合做出“对口型”一般的效果。

下图是 EchoMimic 的工作原理:

EchoMimic 支持多语言(包含中文普通话、英语)及多风格,也可应对唱歌等场景。

访问主页查看更多示例:https://badtobest.github.io/echomimic.html


相關推薦

2023-06-22

根据《科创板日报》的独家消息,蚂蚁集团技术研发团队正在自研语言和多模态大模型——内部命名为“贞仪”,该项目获得了蚂蚁集团管理层高度重视,已启动数月。 多模态大模型指的是将文本、图像、视频、音频等多模态

2023-09-09

在今日的外滩大会分论坛上,蚂蚁集团正式开源代码大模型 CodeFuse。 据介绍,这是蚂蚁自研的代码生成专属大模型,可以根据开发者的输入提供智能建议和实时支持,帮助开发者自动生成代码、自动增加注释、自动生成测试

2023-11-07

11月6日,界面新闻从蚂蚁集团获悉,根据国家七部委联合公布的《生成式人工智能服务管理暂行办法》指导要求,蚂蚁百灵大模型已完成备案,基于百灵大模型的多款产品已陆续完成内测,将向公众开放。 本次通过备案的是蚂

2024-06-22

n路由表,实现模块间动态路由解耦。 支持集成态HSP,集团内部的多个应用之间,可以使用集成态HSP实现代码和资源共享。 支持卸载更新的能力,通过应用市场更新的预置应用,可以通过卸载更新恢复到系统预设的版本。

2024-07-05

控”人物视频生成大模型Vimi,该模型主要面向C端用户,支持聊天、唱歌、舞动等多种娱乐互动场景。 商汤方面称,Vimi可生成长达1分钟的单镜头人物类视频,画面效果不会随着时间的变化而劣化或失真,Vimi基于商汤日日新大

2024-07-02

蚂蚁区块链科技(上海)有限公司发生工商变更,注册资本由1亿人民币增至15亿人民币。该公司成立于2018年12月,由蚂蚁链(上海)数字科技有限公司全资持股。 此前,蚂蚁链(上海)数字科技有限公司也完成了一轮增资,

2024-07-17

腾讯宣布开源可控视频生成框架 MimicMotion,该框架可以通过提供参考人像及由骨骼序列表示的动作,来产生平滑的高质量人体动作视频。 公告称,大量的实验结果和用户调研表明MimicMotion在各种方面都显著优于以往的方法。目

2023-04-14

工智能服务管理办法(征求意见稿)》。办法指出,国家支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作,鼓励优先采用安全可信的软件、工具、计算和数据资源;利用生成式人工智能产品向公众提供服务

2023-06-15

的功能。 非线性字体放大 从 Android 14 开始,系统默认支持字体放大至 200%。这项变更为弱视用户提供了符合网络内容无障碍指南 (WCAG) 的更丰富的无障碍功能选项。请在启用最大文字尺寸 (200%) 的条件下进行用户界面测试

2023-04-08

OpenHarmony 3.2 已正式发布。 OpenHarmony 开源项目是由开放原子开源基金会孵化及运营的开源项目,由开放原子开源基金会 OpenHarmony 项目群工作委员会负责运作。 OpenHarmony 整体遵从分层设计,从下向上依次为:内核层、系统服

2022-05-03

蚂蚁图形引擎 Oasis Engine 0.7 版本已发布,Oasis Engine 是一个移动优先的高性能 Web 图形引擎,被广泛应用在支付宝五福、打年兽等各种互动业务中的图形引擎。 0.7 版本在图形方面新增了文字渲染器,完善了 2D 的基础能力,同时

2022-09-14

PhotoDemon 是一个超轻量级、免安装的开源照片编辑器,它体积仅有 14 MB ,但提供了全面的照片编辑工具。PhotoDemon 不需要安装,也不需要管理员权限即可运行,可以作为便携式应用程序在任何 Windows 机器(XP 到 Win 11)上运行

2023-07-14

部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》(以下称《办法》),自2023年8月15日起施行。 《暂行办法》规定: 第四条 提供和使用生成式人工智能服务,应当遵守法律、行政

2023-10-25

。 不过,对于此次故障原因,官方暂未作说明。 蚂蚁集团旗下的在线文档编辑与协同工具语雀出现服务器故障,在线文档、客户端和官网目前均无法打开。 官方微博回应称,语雀出现网络故障,导致无法访问,此故