[中文直播]第50期 | 基于Metahuman的文本转口型实时解决方案 | 马云龙

YX-Interact:
不夸张的讲，我们基于Metahuman的文本转口型，语音转口型方案可以秒杀这个，可以接入大语言模型实时无延迟驱动，咬字准确[呲牙]

【回复】这个是前两年的亚马逊的demo，单论效果的话还是挺不错的，秒杀我感觉吹的有点过了
【回复】给你顶起来[doge][doge][doge]我的大佬
【回复】更好的方案，有案例可看吗
杨院长来了:
这是一个很好的基础原理教学。我1年多前尝试做过这个，用的是微软Azure Speech服务，他们在返回的json中可以包含ARKIT标准的Viseme，以及开始和结束时间，因此在蓝图上就省很多事了，直接输入面补苹果ARKIT Blendshape那个节点就可以了。而且我认为Azure的拆分可能比阿里这个音素拆分再转Viseme可能要好一些，因为你可以在TTS中加入SSML控制语气、情绪等，而这些也可以在Azure返回的Viseme中体现出来，马老师这个可能就不行了。另外当时还做了个有趣的尝试，回复部分是GPT来做的，我会让GPT回复的时候在每句话开始用【XX】方式标注应该有的语气，在识别语气后，我会在表情中加上一个叠加量，METAHUMAN里面有一些预设的情绪表情可以利用。

旮旯王哪跑:
这个效果没有audio2face的效果好吧[辣眼睛]

【回复】加油兄弟！我看好你！！
【回复】回复 @北海道的日常 :哈哈哈哈
关注我总没错:
PPT和工程文件 https://pan.baidu.com/s/1C_h9svbRajw0q-V_hRm-5g?pwd=z6m5

关注我总没错:
主要内容和情境 本视频是虚幻引擎官方直播间的一次直播，直播嘉宾是虚幻社区经理大钊和马云龙。直播内容主要是马云龙分享基于虚幻引擎的MADhuman的文本转口型的实时解决方案，以及他们在数字人技术方面的最新研究成果。 主要观点 数字人技术现状 数字人技术在元宇宙、企业和政府相关应用中有广泛需求。 马云龙及其团队过去在VR设计软件和闭幕系统上有经验，2022年开始转向数字人领域。 口型匹配问题 口型匹配是数字人交互中的挑战，尤其是在实时应用中。 离线制作流程中可用的解决方案与实时需求存在差距。 实时解决方案 马云龙团队开发了一套简单的文本驱动口型实时解决方案。 该方案无需高深技术或额外成本，可立即应用于数字人项目。 技术细节解析 解释了口型匹配的基本原理，涉及发音部位、发音原理和口型制作。 提供了关于如何使用虚幻引擎中的Pose资产和Modify Curve修改器来实现口型动画的关键技术要点。 实操演示 展示了如何在虚幻引擎中从零开始搭建数字人，并通过Level Sequence和Control Rig实现口型动画的关键步骤。 总结 视频的核心观点在于分享实时的数字人技术解决方案，特别是如何通过文本驱动方式实现口型动画的实时更新。马云龙详细介绍了技术原理、实操步骤和技术细节，并通过演示展示了如何在虚幻引擎中制作数字人的口型动画。重点强调了实时性和易用性，表明该方案适合各种企业和政府机构快速构建数字人应用。

NaN_Name:
我早1年就做出来了，不知道还以为是拿了我源码

卢师傅学习日记:
居然有人也有这种想法，还做出来了，牛。这种东西就是学小学发音。重回小学[吃瓜]

MOMOWER12_WE:
这样一个在c++里手写音速，就根本没有实现自动化功能吧

一拳超人-org:
这不是我目前做的一模一样吗，找音素，做位置

_车里小丸子:
穿白衣服那个是哪里人，怎么说话那个口音的，是不是弯弯，ue中国是否也是高管以海外华人为主

【回复】回复 @虚幻引擎官方 :笑死我了[笑哭]
蜗牛拉火箭:
这个眼皮有些问题，建议修复一下，目前B站有up修改法线解决了。

【回复】你好，你有这个角色模型吗？
【回复】把CM1的贴图替换一下就可以了
亲爱的严同学:
音素的识别是什么方案 就只讲解了客户端解析

Mark42的铁镐:
您好，虚幻引擎昨天更新到最新版，还是出现未知错误闪退，设备是12400H，3050laptop，32gb，打开虚幻编辑器之后画面文字闪烁严重，点机任意按钮都极大概率闪退，等待一段时间之后也会自动闪退，Bridge插件有无都是一样，报错信息提示的是未知的错误，从虚幻4一直升级到现在一直都是这样，根本不能使用。

【回复】我可以帮你试试解决闪退