我国虚拟数字人行业概况、驱动因素、发展现状、竞争情况、市场前景分析

类别

服务型虚拟数字人

身份型虚拟数字人

核心功能

功能性，提供服务

身份性，用于娱乐/社交

替代真人服务，完成内容生产、简单功能

虚拟IP/偶像，推动虚拟内容生产

多模态AI助手,提供日常陪伴、关怀等服务

虚拟世界第二分身，用于社交娱乐及Metaverse

产出定位

现实世界中主持人、导游、购物主播等服务型角色的虚拟化

虚拟偶像或为真人偶像的辅助分身

具有关怀感和真实感的Al助手

个体在虚拟世界(或Metaverse)中的第二分身

代表应用

虚拟主播、虚拟老师、标准化内容制作

虚拟偶像

虚拟关怀师、虚拟陪伴助手

VR Chat、虚拟形象构建应用

产业价值

降低巳有服务型产业的成本，为存量市场降本增效

为未来的虚拟化世界提供人的核心交互中介。在增量市场创造新价值增长点

提升AI助手的交互效果,扩展其接受度与适用场景

降低虚拟内容的制作门褴

真人驱动型技术流程

步骤

计算驱动型技术流程

形象设计及建模

基于IP设计或真人偶像绘制原画，进行面部及身体3D建模。选择关键点

1

设计形象，扫描真人形态及表演、采集驱动数据

利用多方位摄像头，对通用/特定模特进行打点扫描（视最终需求可进行全身或局部扫描），采集其说话时的唇动、表情、面部肌肉变化细节、姿态等数据

建模绑定

将识别关键点映射至模型上，进行绑定。关键点绑定的数量及位置影响最终效果。

2

形象建模,进行绑定

设计所需的模型，或基于特定真人进行高还原度建模。进行关键点绑定。关键点绑定的数量及位置影响最终效果。当需要基于真人照片生成虚拟内容时，一类做法是将通用的人脸模型迁移至该真人黑片上，形成虚搜形象，实质为表情迁移。另一类则是生成动漫类效果，基于预先设置的形象分类算法，将真人照片中的眼型、发型等元素进行分类，并与预先设置的动漫元素进行匹配，最终生成动漫式的虚拟形象.

表演捕捉

利用动作捕捉设备或特定摄像头+图像识别，捕捉在形体、表情、眼神、手势等方面的关键点变化。

3

训练各类驱动模型，是决定最终效果的核心步骤

利用深度学习，学习模特语音、唇形、表情参数间的潜在映射关系，形成各自的驱动模型与驱动方式。

充足的驱动关键点配合以精度较高的驱动模型，能够高还原度的复原人脸骨骼和肌肉的细微变化，得到逼真的表情驱动模型。魔珐科技等业界领先的模型可组合出超千种表情效果，并包含眼神驱动。科大讯飞、竹间智能等公司会对语音/文本中的因素进行提取，增加情感驱动模型等。

目前为止，大多数厂商的驱动模型大多是语音-唇形，语音-驱动。动作、手势等驱动大多依靠人为现场指令或预设置驱动。

对于需对特定真人定制化的数字化虚拟数字人，部分公司会基于在通用驱动模型的基础上，结合少量真人驱动数据训练定制化驱动模型。这种情形可视作预训练模型+小样本学习。

驱动及渲染

真人演员(在虚拟偶像中称为中之人）根据制作需要进行相应表演，实时驱动虚拟数字人表演。在较为精绍的制作中，会需要根据真人演员和建模的区别进行重定向。并对动作、眼神、手指等采用不同的驱动方式。需要时需进行语音合威。形成特定设置语音

4

内容制作，基于输入的语音(或由输入文本转化的语音)，预测唇动、表情等参数

核心的技术流程是基于输入的语音，或首先基于TTS技术（Text-to-speech，语音合成技术)，将输入的本文转化为语音。基于语音，结合第3步到的驱动模型，并利用生成对抗模型GAN选出最符合现实的图片，推理得到每帧数字人的图片。通过时间戳.将语音和每航的数字人图片进行结

生成内容，进行互动

进行直播，或录制其动作生威内容

5

进行渲染，生成最终内容。直播时进行实时渲染

为保证在特定场景下能够实现实时低延迟渲染，计算框架的大小、算力供给等技术问题同样会影响到虚拟数字人的最终生咸效果

-

附加步骤

针对需要进行交互的虚拟数字人，生产商会预先设置有问答库、知识图谱等，并承接入虚拟数字人的对话系统。

领域

应用情况

游戏

《英雄联盟》的人气女团K/DA登陆S8决赛舞台,现场观众能够通过AR设备进行观看

《王者荣耀》推出男团无限王者团

为了让玩家轻松定制专属虚拟形象，2019年5月网易伏羲AI Lab携手密歇根大学发明面部捕捉深度学习算法MelnGame，仅需玩家上传一张人物肖像照片就可以生成虚拟面部的形状和纹理，与此同时该算法还会根据游戏年代设定调整面部特征，现已在《逆水寒》《永劫无间》等游戏中得到应用。

金融

华为云打造了首个虚拟数字人云笙入职华为云

百度打造了首个国内银行“虚拟员工”

文旅

京东进口超市推出了虚拟推荐官“ViVi子涵”

网易伏羲首个AI智慧文旅项目落地杭州中国丝绸城，该项目将《逆水寒》中人设、技能与丝绸文化高度相关的“素问”流派虚拟人融入数字展厅，用户可通过按下琴键进行实时互动，“素问”将随旋律变化而起舞

教育

央视新闻联合百度智能云推出的总台首个AI手语主播正式亮相

虚谷未来科技推出全国首位教育领域虚拟人小艾，其人设为喜欢阅读、善于分享的12岁少女，旨在以领读陪伴的“班长”身份激发少儿阅读兴趣，截至目前小艾已参与《中国诗词大会》《时空课堂》等多个知识类节目，并以科普博主身份活跃于视频号、抖音等多个平台。

智能服务

搜狗与新华社联合发布的虚拟主持人以高仿真形象示人，可对用户输入的新闻文本进行语音播报

浦发银行首位虚拟员工“小浦”在服务客户时可感知对方情绪并辅之表情和手势，且具备主动学习、持续提高服务效率的能力

百度App上线龚俊数字人语音助手

公司名称

公司定位

虚拟形象产品

代表行业/客户

备注

魔珐科技

虚拟数字人内容平台厂商，自研真人Al形象引擎、算法、资产工作雅接全原社社于致力于为全球创作者提供基于AI的虚拟内容生咸服务与平台

虚拟内容协同制作智能云平台、专业级及消费级虚拟直播技术和产品、服务型虚拟数字人能力平台、身份型虚拟数字人全栈式技术和产品服务

身份型:魔珐原创(翎Ling,Sam&Liz)、腾讯（灵犯)、阿里巴巴(天猫瞄酱)、阅文(叶修)、城市IP(宁波市等)、小米。美的、伊利等;

服务型:魔珐原创(Ada)、金融(光大银行、太平金科等);教育(杭州萧山教育局、字节跳动等);电商{怡宝等》;医疗(上海精神卫生中心虚拟心理医生)﹔运营商(中国移动、中国联通)

魔珐是为三维虚拟内容制作提供智能化、工业化的基础设施;为三维虚拟数字人提供造人、养人、用人的全栈式技术和产品服务。

相芯科技

虚拟数字人垂直厂商，致力于持续研发数字虚拟人驱动引擎和技术美术平台，为客户提供极高性价比的数字人全栈式解决方案。

AI虚拟助手、AI虚拟主播

虚拟助手(金融、党建、政务、电商、博物馆);虚拟主福(济南电视台、广西日报、人民日报、浙江电视台钱江频道、京东);美颜滤镜AR特效(虎牙直播、珍爱网、新东方教育)

专注于提供VR/AR/移动应用的支撑技术

追一科技

专长类技术厂商，亚太地区知名的智能语音和人工智能上市企业

多模态数字人

银行、政务、保险、券商、运营商、教育、零售/电商、公共交通、文旅、媒体/娱乐、居家/健康

-

黑镜科技

虚拟数字人内容平台厂商，自研真人Al形象引擎、算法、资产工作流等虚拟人全栈技术，致力于为全球创作者提供基于Al的虚拟内容生威服务与平台

虚拟内容生成平台,真人AI形象引擎/SDK，虚拟人资产算法,虚拟人动画算法

互联网内容平台，电商，传媒，广告，专业/半专业创作者，虚拟人引擎开发者

-

中科深智

虚拟数字人垂直厂商，致力于持绫研发数字虚拟人驱动引擎和技术美术平台，为客户提供极高性价比的数字人全栈式解决方案。

创梦达及创梦加(专业级动画)，创梦易(快速动画生产及虚拟直播》，创梦易自动播及云小七(7*24小时AI虚拟直播)

为一禅小和尚、默默酱、萌芽照、僵小鱼等头部IP，央视、中兴、中石化、中国银联等龙头企业。以及美的、蒙牛、怡思丁、安莉芳等2000+电商品牌提供了数字人解决方案。

持续扩大资产库规模，已有近500个原创虚拟IP授权给客户使用

科大讯飞

专长类技术厂商，亚太地区知名的智能语音和人工智能上市企业

AI虚拟主播、Al虚拟数字人

虚拟新闻主播(新华社、交汇点新闻、温州都市报、金陵晚报、广西卫视);虚拟数字人(客服、交通、政务咨询、生活服务)

-

火山引擎

综合类技术厂商，字节跳动面向企业的智能科技品牌

捏脸及表情驱动、虚拟主播、虚拟形象生产平台

互动娱乐、广电传媒播报、金融客服、车载娱乐等行业及场景

个性化3D虚拟形象，支持实时面部表情、肢体动作与语音驱动

百度

综合类技术厂商，全栈的AI能力，提供端到端软硬一体的应用

虚拟主播直播、虚拟形象智能交互解决方案

虚拟主播(央视网、好看视频、中国天气)虚拟形象智能交互(问询导览、广告营销、迎宾)虚拟数字人导购员，虚拟主播，虚拟培训师等

-

搜狗

专长类技术厂商，搜狗推出的以语音交互技术为核心的人工智能平台

搜狗分身

传媒、教育、金融、娱乐

虚拟主播(搜狗虚拟气象主播、新华社AI合成主播、新华社3DAI合或主播)、金融虚拟客服（平安惠普、平安保险)、车载语音助手(蔚来汽车)、明星二次元形象(黄子韬)、声音内容制作

2021年推出搜狗手语虚拟主播

小冰

面向新交互形式的完整人工智能技术框架，“在亿万人之中，我只属于你”，其个性交互框架已对公众开放

小冰

虚拟亲友、AIl托管小编、虚拟歌手、Al主播、测颜值替身

Beta版本现巳开故多种虚拟数字人类生产线

-

标贝科技

专长类AI厂商，专注智能语音交互和Al数据服务的人工智能公司

智能客服、虚拟员工、虚拟主播、恐龙贝克

智能客服、虚拟主福、虚拟员工

-

拟仁智能

CG类厂商，是一家将人工智能（Al)与计算机图形学(CG技术相结合的创新型高科技公司

定制化虚拟数字人

个人助手、智能客服、电商零售、旅游文创、教育医疗、广告营销、直播主持、游戏娱乐

-

网易伏羲

综合类厂商，国内专业从事游戏与泛娱乐Al研究和应用的顶尖机构

网易伏羲AI虚拟数字人

虚拟主播、虚拟客服、虚拟助手、虚拟直播、游戏动画、空间虚拟智能〔虚拟导览、虚拟歌手、虚拟诗人、交互式虚拟数字人)(北京市文物局、杭州市中国丝绸城项目、为麦当劳提供虚拟数字人应用)

-