高级大数据开发工程师

【工作职责】1.系统设计与开发负责企业级软件系统的核心模块开发与迭代优化，使用Java、Python等技术栈构建高可用、高性能的分布式服务。基于大数据平台（如Hadoop、Flink）进行数据ETL流程开发，优化SQL查询性能，设计数据仓库模型及实时计算方案。2.全流程协作与质量保障与业务分析师、测试团队协作，完成需求分析、技术方案设计及代码交付，确保符合TDD、持续集成等开发规范。参与数据治理流程实施，包括数据质量管理（清洗、校验）、元数据管理及数据安全策略落地。3.技术攻关与性能优化解决高并发、分布式场景下的技术难题，优化系统性能（如JVM调优、SQL索引优化、Spark任务调优）。开发自动化工具提升数据处理效率，例如Python脚本实现数据清洗、Java服务实现异步任务调度。4.文档与知识沉淀编写技术文档（如系统设计说明书、API接口文档），参与代码评审，推动团队技术标准化。【职位要求】1.技术能力Java后端开发熟练掌握Java语言及SpringBoot/SpringCloud框架，理解JVM内存模型、多线程及网络编程。熟悉MySQL/Oracle等关系型数据库，具备SQL优化经验，了解Redis/MongoDB等NoSQL技术。Python开发熟练使用Python及常用库（如Pandas、NumPy），熟悉Django/Flask框架，具备数据分析或机器学习项目经验优先。大数据平台SQL开发精通Hive、FlinkSQL等大数据查询语言，熟悉Hadoop生态组件（如HDFS、HBase），具备数据仓库建模经验。2.经验要求3年以上Java/Python/大数据平台开发经验，至少主导或深度参与过2个以上中大型项目。熟悉数据治理全流程（数据发现、定义、应用、监控），具备数据血缘分析、数据标准制定经验者优先。3.核心素质具备良好的逻辑思维能力，能快速定位并解决复杂问题，对技术原理有深入探究意愿。较强的沟通能力及团队协作意识，适应敏捷开发模式，能承担跨部门协作任务。对数据敏感，熟悉数据安全与隐私保护规范（如GDPR），有数据治理工具（如ApacheAtlas）使用经验者加分。4.加分项熟悉微服务架构（如Dubbo、SpringCloudAlibaba），了解容器化技术（Docker/Kubernetes）。具备大数据平台运维经验，如Hadoop集群性能调优、数据备份与恢复。
联系我时，请说是在58同城上看到的，谢谢！