多模态大模型应用工程师

1.工作职责（1）多模态应用方案设计与落地，负责基于多模态大模型的应用方案设计与实施，制定多模态技术应用长期roadmap，明确不同业务场景的技术优先级，重点解决跨模态数据融合、模态语义对齐、多模态生成一致性等核心问题。（2）模型适配与优化，针对特定业务场景进行多模态大模型的微调、模态权重调整与输入prompt工程设计，构建多模态领域数据集与标注体系，提升模型在复杂场景下的跨模态理解与生成能力，解决模态偏见、跨模态信息丢失等关键问题。（3）多模态系统集成与效果评估，负责将优化后的多模态能力集成到业务系统中，设计覆盖多模态指标的A/B测试方案，跟踪线上应用效果，通过多维度数据分析持续优化模型参数与系统架构，确保应用效果符合业务预期。（4）跨团队协作与技术支持，协同产品团队将复合业务需求转化为多模态技术目标，配合数据团队完善跨模态数据采集、清洗与存储流程，为业务团队提供多模态技术培训与应用指导，输出多模态应用案例分析与优化报告。（5）技术跟踪与合规管理，跟踪多模态领域前沿技术（如多模态大模型压缩、跨模态联邦学习），探索其在垂直领域的创新应用；建立多模态数据的隐私保护与内容合规机制，确保图像、音频等模态数据的处理符合数据安全法规，规避跨模态内容的伦理风险。2.职位要求（1）及以上，计算机科学、多媒体技术、计算机视觉、自然语言处理、人工智能等相关专业优先；具备多模态大模型在文娱、自动驾驶、智能硬件等行业的应用经验者佳。（2）3年以上多模态技术或跨模态应用相关工作经验（优秀者年限可放宽），具有基于主流多模态大模型（如CLIP、DALL・E、GPT4V、QwenVL等）的应用落地成功案例，熟悉多模态微调、跨模态检索、模态转换生成等技术者优先。（3）熟悉多模态基础算法与大模型原理，掌握Hu*ingFaceTransformers多模态库、*Detection、OpenCV等工具，理解多模态模型推理框架与部署优化方案，能独立完成多模态应用方案的设计与实现。（4）熟练使用Python编程语言，掌握PyTorch/TensorFlow等深度学习框架，熟悉SQL、MongoDB及对象存储工具，具备多模态数据处理、特征工程与模型调优能力，能运用OpenCV、FFmpeg等工具处理图像与音频数据。（5）具备优秀的工程化实现能力，能编写规范的技术文档，有多模态模型轻量化部署、高并发跨模态交互系统搭建经验者优先。（6）强大的跨团队协作能力，能在复杂业务场景中协调技术、数据、业务等多方资源，推动多模态应用方案的落地与迭代。（7）逻辑思维与问题解决能力，能快速定位多模态应用中的跨模态技术瓶颈与业务痛点并提出有效解决方案。（8）具备持续学习能力，对多模态领域前沿技术（如具身智能中的多模态感知、多模态大模型Agent）保持高度敏感度。
联系我时，请说是在58同城上看到的，谢谢！