虚拟数字人算法工程师

虚拟数字人生成算法专家（实时2DAIGC方向）岗位职责一、实时视觉生成与驱动核心（%）负责语音驱动2D数字人生成链路的算法研发，包括唇形同步（LipSync）、面部表情合成、视线控制、头部姿态动画、肢体驱动等核心模块；优化Wav2Lip/SyncNet/EMO/MuseTalk等模型的训练与效果，及实时推理性能，实现音视频帧级对齐与情感同步；研发语音图像序列生成技术（Audio2Head/TalkingHeadDiffusion），提升时序稳定性、多视角一致性与光影自然度；构建实时视频生成引擎，集成扩散模型（如StableVideoDiffusion/Wan2.2）、性能/显存优化与后处理（超分、抖动消除）模块；设计数字人素材压缩、流式解码，支撑移动端/低延迟实时渲染。二、多模态与语音融合（%）构建语音驱动唇动模型，提升多语种、复杂发音条件下的同步精度与自然度；搭建文本语音视觉的端到端生成链路，融合LLM（文本脚本/情感表达）与TTS语音生成；研究音频特征增强的面部生成算法，优化微表情细节；探索多模态控制接口（如文本+语音+动作指令的联合生成），支持数字人多场景实时对话演绎。三、工程化与部署主导算法服务化落地（gRPC/HTTPAPI），实现高并发推理与低延迟流式输出；优化推理性能（TensorRT、FP8/BF量化、显存缓存），支持多实例部署；支持数字人SDK及平台开发，适配WebRTC实时通信、云端渲染与移动端轻量化场景。任职要求一、核心算法与视觉生成能力（%）精通2D视觉生成与编辑技术（Diffusion/GAN/TalkingHead/Image2Video）；熟悉语音驱动视频生成模型（Wav2Lip、EMO、MakeItTalk、SadTalker等）；具备时序建模与视频质量优化经验（帧插值、稳定性增强、特征缓存）；熟悉音频特征与表情映射机制，能从语音端特征改进视觉自然度。二、多模态与语音技术（%）理解LLM+TTS联合生成原理，能将对话生成与语音生成闭环；精通语音-视觉对齐算法与情感驱动唇动生成；具备多模态融合经验（CLIP/AudioCLIP/Audio2Head/DiffusionControlNet）。三、工程能力熟练使用PyTorch/TensorFlow，具备分布式训练与模型推理优化经验；精通模型服务化部署：Triton、RayServe、FastAPI、TensorRT；熟悉C++/Python高性能计算与CUDA算子优化；有WebRTC/RTMP/WebSocket实时视频流开发经验者优先。加分项发表过AIGC/视频生成/多模态表情生成相关论文（CVPR、ICCV、AAAI等）；主导或参与过实时数字人产品（如虚拟主播/客服/主持）算法落地；熟悉ComfyUI/Diffusers/Triton/RayServe等AIGC推理框架；有移动端实时数字人SDK或流式生成系统经验。团队定位加入公司AIGC核心研发团队，专注构建**“实时语音驱动2D数字人”核心算法栈**，面向多场景（虚拟主持、广告交互、教育娱乐等）打造低延迟、高保真、智能化的实时虚拟人生成能力。
联系我时，请说是在58同城上看到的，谢谢！