虚拟人“华智冰”弹唱秘密揭开 面部表情、歌声均由智能框架生成

nxyxs
nxyxs
nxyxs
120484
文章
0
评论
2021年10月1日01:10:5867

凤凰网科技讯 9月30日消息,近日,虚拟人“华智冰”弹唱视频走红网络。对此,该内容制作方公司发表说明,介绍了“华智冰”弹唱内容制作背景,涉及相关技术与此前的不同之处,以及对虚拟人内容技术发展的观点和态度。

小冰公司表示,虚拟人将成为未来视频内容的主要提供者之一,而安全、可控、无风险和风险是其前提。因此,小冰一直在这一趋势方向上进行探索,并从不同方面对这一领域做拓展研究。小冰与清华大学计算机系合作华智冰项目,正是在预训练模型方面进行合作,希望能够以智能模型作为核心,试验预训练模型能够带来哪些技术与应用方面的惊喜。

这次传播的视频,来自小冰发布会的进展汇报展示,为华智冰能力续写了一些新的进展,demo小冰框架下最新的面部生成和3D视频封装技术成果。具体来说:视频中人物的面部特征,包括人脸、表情、口型等,全部由人工智能小冰框架X Avatar生成并进行融合;视频中的人物肢体、动作,包括手持吉他弹唱,来源于小冰团队成员鱼子酱酱录制的原始视频模版。视频中的歌声,由人工智能小冰框架X Studio生成。

\",\"type\":\"text\"},{\"data\":{\"duration\":52,\"bigPosterUrl\":\"https://x0.ifengimg.com/ucms/2021_40/B9581527B9C67D3CE0AD5C740788C1F6CDF2C545_size29_w589_h331.jpg\",\"attachmentType\":\"video\",\"fileSize\":\"4843\",\"guid\":\"b2ddf8f7-8f08-44f9-9168-91fcc154cb84\",\"audioFileSize\":\"709\",\"attachmentId\":\"b2ddf8f7-8f08-44f9-9168-91fcc154cb84\",\"mobileUrl\":\"http://ips.ifeng.com/video19.ifeng.com/video09/2021/09/29/p6848898681857384755-102-164728.mp4\",\"title\":\"清华虚拟学生华智冰出镜唱歌火了,其导师称尚无实体机器人版\",\"base62Id\":\"89w1D0OeUmQ\",\"playUrl\":\"http://ips.ifeng.com/video19.ifeng.com/video09/2021/09/29/p6848898681857384755-102-164728.mp4\"},\"type\":\"video\"},{\"data\":\"

随着视觉化交互内容(如短视频)的不断深化,对于人物出镜交互的需求越来越多。但是,由于人类的行为存在各种不稳定性,常常给商业机构和品牌方带去很大的风险与不确定性。对此,越来越多的商业机构、内容制作方与品牌方,呼唤一种安全可控的虚拟人类内容(含商业代言)产品化技术。

已往付诸产品化的技术存在诸多问题:它无法像真实人类一样,生成足够丰富的面部features,且无法打通生成与替换的端到端流程。因此,只能实现真实人类面部间的替换,精度质量不足。更严重的问题是,以往的方法无法从根源上避免隐私侵权风险。

新的产品化技术实现了完全虚拟生成不存在的面部,且具有足够丰富的features,从而能够实现精度更高的视觉化交互内容。尤其是,由于从根源上避免了使用任何真实人类面部的可能性,有效阻断以往技术无法避免的隐私侵权问题。从隐私角度,是一个重要的进步。

小冰公司还透露,华智冰除了3D面部生成、歌声合成的优化外,还有其他很多更底层的、涉及数字人“大脑”的新技术应用,例如在有机融合了知识图谱和预训练模型后,可以让数字人有常识和推理能力。华智冰正在不断“成长”中,还会有更多最新技术的应用,敬请期待。

nxyxs
  • 本文由 发表于 2021年10月1日01:10:58
  • 本文链接:https://tutuqingshu.com/?p=211572