游戏写实角色语音生成口型与表情技术的演进与前景

 　　近年来越来越多的超写实角色出现在游戏中，他们通常采用照扫(3D photogrammetry scanning)为基础对真人模特进行建模、加工，在满足游戏艺术效果的同时尽可能还原人物特别是其面部的细节特征，使得玩家能够获得更真实的角色扮演体验。

　　但是，静态人脸照扫建模之后，怎么让这个角色面部动起来，并能自然地说话和表达情绪，是一个关键的难题，也随之衍生出了两种不同的主流解决方案：

　　一种方案是，将3D照扫扩展为4D照扫，加入时序维度，从而能够采集到演员最精细的面部变化。然而这样的数据量十分巨大、后期处理时间及人力开销过重，并不适合大规模资产制作；

　　另一种方案是，采用面部跟踪的技术，通过RGB、RGBD、双目、红外摄像头等设备捕捉人脸信息，提取面部特征并映射为绑定资产的参数，从而驱动角色面部运动。然而这种方案也有一些局限，例如MMO类型的游戏中通常有大量的角色对白，即使采用面部跟踪也会成本巨大。

　　正因为两种方案的局限性，探索从语音对白作为输入直接生成角色口型表情序列，也就成为了一个重要的研究方向。

　　为了方便阅读和比对，我这里就将语音生成口型与表情的技术演化划分为四个阶段。

　　[ 照扫及表情跟踪 ]

　　一、早期基于音素的方案

　　音素(Phoneme)，是人类语言中能够区别意义的最小声音单位。视素(Viseme)，则是视觉方式呈现出的音素，描绘出发音时的嘴部姿态。

　　音素与视素之间，并不是一一对应的关系。例如人类对音素b、p、m的发音方式相似度很高，因而可以对应相同的视素。要想解决语音自动生成口型动画的问题，一个自然的想法是，从语音分析出对应的音素序列，并映射为视素序列。游戏角色则通过预制作好一些标准视素，根据前面得到的序列动态的激活并混合视素，生成角色口型动画。

　　[ 音频、音素对齐 ]

　　[ 视素的例子 ]

　　要想从语音生成对应音素序列，不仅需要知道语音对应的音素，还需要在时间序列上和原始音频对齐。不过，这也正是ASR(自动语音识别Automatic Speech Recognition)领域的研究方向之一。因此，我们可以采用ASR领域的一些工具来实现这个目标，这通常需要结合特定语言的G2P(Grapheme-to-phoneme)以及Acoustic model共同完成这项任务。

　　另外需要考虑的是，游戏应当制作哪些标准视素，以及如何制作这些视素？

　　挑选视素并没有固定的标准，有些游戏仅仅制作5——10个较为重要、视觉效果明显的视素，如a、e、o、zh、w等，也有些工作会拆分的更细致制作超过20个以上的视素。这可以根据游戏需要的效果质量以及美术制作预算决定。

　　Blendshape或者Pose的形式都可以作为这些视素的载体，这些美术资产可以手工制作，也可以使用类似Deformation Transfer或者Auto Rigging的算法进行迁移生成，最终根据视素序列对之进行K帧(Keyframing)生成动画。

　　二、更自然的音素方案

　　[ OH的发音动作 ]

　　[ JALI的LIP/JAW模型 ]

　　前面我们也提到了，音素-视素并不是一一对应的关系。比如上图展示了“Oh”的五种不同发音口型，这就是一个音素对应五种视素的例子。

　　而JALI(1)的工作，首先提出了解决上述问题的方案。他们通过观察发现，人们发音时的动作可以拆分为两个维度，一是下巴骨骼的运动，二是嘴部肌肉的运动。而不同的说话"风格"，可以通过调整这两个维度从而捕捉到更有表达力的口型。

　　除此之外，JALI还总结了一些协同发音(Co-articulation)的规则，这样就可以通过上下文来调整视素的表达，从而使生成的视素序列更为自然。

（编辑：二游网_173173游戏网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!