大数据AI工程师

一、岗位职责1.负责大数据与AI项目的数据底座建设，包括多源异构数据的采集、清洗、转换、集成，设计并实现⾼效的ETL/ELT流程，构建⾼质量的数据资产体系⽀撑业务场景。2.搭建与优化大数据处理平台，基于Hadoop、Spark、Flink等框架实现海量数据的实时/离线计算，保障数据处理的高效性、准确性与可扩展性。3.参与AI模型的⼯程化落地，包括训练数据准备、特征工程、模型训练/微调、部署上线及性能优化，支撑大模型SFT、RAG等场景的工业化应用。4.负责数据仓库/数据湖的设计与维护，遵循数据分层架构（ODS、DWD、DWS）规范，实现数据的结构化管理与服务化输出，支撑业务分析与AI建模需求。5.跟踪大数据与AI领域前沿技术（如湖仓一体化、大模型工程化、向量数据库应用），结合业务需求推动技术创新与落地，解决项目中的复杂技术难题。6.与算法、产品、业务团队紧密协作，理解业务场景诉求，提供数据与AI工程化解决方案，保障项目全生命周期高效推进与交付。7.负责数据质量监控与治理体系建设，制定数据标准，识别并修复数据异常，确保数据资产的可靠性与安全性；编写技术文档，包括数据架构设计、流程说明、模型部署手册等。二、任职要求(一)基础条件1.及以上，计算机科学与技术、数据科学、人工智能、统计学等相关专业，35年大数据/AI工程相关工作经验。2.具备扎实的计算机基础知识，深入理解数据结构、算法、操作系统、分布式系统核心原理，具备良好的逻辑思维与问题解决能力。3.具备规范的编码习惯，熟练使用Git等版本控制工具，具备较强的技术文档编写能力与团队协作意识，能适应快速迭代的项目节奏。(二)核心技术能力1.大数据技术栈（1）熟练掌握Python、SQL编程语言，具备复杂数据查询、清洗与加工能力；熟悉Pandas、NumPy等数据处理库。（2）深入理解并熟练使用主流大数据框架，如Hadoop、Spark、Flink等，具备实时/离线数据处理任务的开发与优化经验。（3）熟悉数据仓库/数据湖建设理念，具备ODS/DWD/DWS分层建模经验；了解主流数据存储技术，如MySQL、Hive、ClickHouse、HBase等。（4）熟悉数据管道构建工具，如ApacheKafka、ApacheNiFi、Airflow等，能实现数据的自动化采集与流转。2.AI工程化能力（1）熟悉至少一种主流AI框架，如TensorFlow、PyTorch，具备基础的机器学习/深度学习模型搭建与训练经验。（2）精通大模型训练与微调技术：掌握SFT（指令微调）、PEFT（参数高效微调）等核心方法，熟悉LoRA、QLoRA等轻量化微调技术；了解大模型对齐技术，如RLHF（基于人类反馈的强化学习）、DPO（直接偏好优化）等实践应用。（3）具备大模型应用开发能力：熟悉RAG（检索增强生成）全链路技术，能基于LangChain、LlamaIndex等框架构建检索系统；了解大模型智能体（Agent）开发，具备任务规划、工具调用（FunctionCalling）等模块的设计与实现经验。（4）掌握大模型工程化部署与优化：熟练使用vLLM、Triton等推理加速框架，具备模型量化、蒸馏等性能优化经验；能基于Docker、Kubernetes完成大模型的容器化部署、集群调度与服务监控。（5）熟悉大模型数据工程：具备大规模训练数据构建经验，包括数据清洗、指令集设计、合成数据生成、数据去重与标注规范制定等，能支撑大模型预训练或微调的数据需求。（6）了解向量数据库应用：熟练使用Milvus、FAISS、Weaviate等向量数据库，具备向量索引构建、检索优化经验，能支撑大模型语义检索、知识库问答等场景。（7）具备特征工程实践经验，能结合业务场景设计有效特征，构建稳定的特征体系支撑模型训练。3.工程化与运维基础（1）熟悉Linux操作系统常用命令，具备基础的Shell脚本编写能力。（2）了解数据治理与数据安全相关知识，能制定基础的数据质量监控规则，保障数据合规性。三、优先条件1.具备大数据+AI融合项目实战经验，有大模型微调、部署及工业化落地案例者优先。2.熟悉湖仓一体化技术，如DeltaLake、Iceberg等；具备数据中台建设经验者优先。3.具备Prompt工程实践经验，能设计多样化的训练/推理样本；或具备知识图谱构建、标签系统沉淀经验者优先。4.具备前端开发基础（如Vue、React），能实现简单数据可视化或前后端交互功能者优先。四、福利待遇1.薪资可面议；2.法定节假日休息；3.五险一金。
联系我时，请说是在58同城上看到的，谢谢！