“AI合成主播”是在搜狗“分身”技术的支持下, 通过人脸关键点检测、人脸特征提取、人脸重构、唇语识别、情感迁移等多项前沿技术,并结合语音、图像等多模态信息进行联合建模训练后,生成与真人无异的AI分身模型。该项技术能够将所输入的中英文文本自动生成相应内容的视频,并确保视频中音频和表情、唇动保持自然一致,展现与真人主播无异的信息传达效果。
“AI合成主播”不仅有中文“AI合成主播”,同时还有以“联接中外、沟通世界”为使命的英文“AI合成主播”。
2019年2月19日,搜狗公司与新华社新媒体中心联合发布了首个站立式AI合成主播,新的AI合成主播从过去的“坐着播新闻”升级成结合肢体动作的“站立式播报”,标志着“搜狗分身”技术再次取得突破。 2019年3月,新华社联合搜狗公司近日在京发布全新升级的站立式AI合成主播,并推出全球首个AI合成女主播。 “AI合成主播”不仅在全球AI合成领域实现了技术创新和突破,更是在新闻领域开创了实时音视频与AI真人形象合成的先河。“AI合成主播”结合新华社“现场新闻”报道,将“AI合成主播”与短视频一体化生产制作。 最新推出的站立式AI合成主播即将投入到2019年新华社全国两会的报道筹备中,并将在搜狗搜索、输入法等平台上与用户见面。 随着“搜狗分身”技术能力的不断提高,AI合成主播的定制周期也降低,合成效果和稳定性也有提升。仅靠少量用户真实音视频数据,即可定制出高逼真度的分身模型,帮助媒体在融媒体转型、新闻时效性、跨语种传播能力等领域升级。