大数据开发工程师

岗位职责：1.负责大数据平台的架构设计、开发和优化，构建数据湖仓，支持高性能的分析与查询；2.根据自动驾驶领域的业务需求，设计并搭建高效、灵活的数据湖仓，包括数据建模、ETL开发和数据导入；3.参与海量传感器数据、行驶轨迹数据和仿真测试数据的清洗、存储、分析与优化，为自动驾驶算法和决策系统提供可靠数据支持；4.负责大数据相关技术栈（如Kafka、Flink、Spark等）的集成开发，优化数据处理和实时计算能力；5.设计并实现自动化数据处理流水线，支持多源异构数据的高效接入与处理；6.推动数据平台性能优化，包括查询性能、存储效率和扩展性，确保应对PB级别数据规模；7.编写技术文档，参与技术评审与团队知识分享，推动团队技术能力持续提升；8.持续跟进大数据及自动驾驶领域的前沿技术，提出创新性解决方案。任职要求：1.计算机、软件工程或相关专业及3年大数据开发经验；2.精通数据仓库设计和数据建模，熟悉OLAP引擎在大数据分析场景中的应用；3.熟练掌握ETL开发，擅长处理复杂数据流转场景，确保数据质量和一致性；4.熟悉主流大数据技术栈（如Kafka、Spark、Flink等），有性能调优经验；5.熟练使用Java、Scala或Python进行大数据开发，具备良好的代码风格和开发习惯；6.对自动驾驶领域的数据特性有深入理解，熟悉传感器数据、轨迹数据的处理流程优先；7.具备优秀的团队协作和沟通能力，能够主动解决复杂问题；8.了解机器学习基础，熟悉TensorFlow、PyTorch等框架者优先；9.有云平台（如AWS、Azure、阿里云等）的分布式数据处理经验者优先。加分项：在ApacheDoris社区有贡献或深入研究者优先；有参与PB级别数据处理项目的经验；熟悉自动驾驶仿真系统和高精地图数据处理者优先；持有大数据相关技术*（如Cloudera、AWS*等）。
联系我时，请说是在58同城上看到的，谢谢！