数据工程师

【岗位职责】1.数据平台与架构：主导数据仓库、数据中台的规划、设计与实施，负责核心模块的开发，构建可扩展、高可用的数据基础设施。2.数据管道开发与维护：负责设计、开发和维护稳定、高效的数据管道（ETL/ELT），支持从多源异构数据（业务数据库、日志、API等）的实时与离线数据采集、清洗、转换与加载。3.数据质量与治理：建立并完善数据质量监控体系，设计和实施数据校验规则，保障数据的准确性、完整性和一致性。参与数据血缘、元数据管理等数据治理工作。4.性能优化与成本控制：持续监控和优化数据处理任务（如Spark/Flink作业）的性能，解决数据倾斜、数据膨胀等问题，通过技术手段优化存储与计算资源。5.技术支持与协作：与数据分析师、业务团队等紧密协作，深刻理解其数据需求，并提供稳定可靠的数据服务和技术支持。【任职要求】1.计算机科学、软件工程、数学等理工科相关专业，本科、研究生及以上学历。2.2年以上数据平台开发、数据仓库或ETL开发相关工作经验。至少参与过两个，主导过一个大数据项目。3.精通Python/Scala/Java中的至少一种，具备扎实的编程基础和良好的编码规范。4.熟悉数据仓库建模理论（如维度建模），深刻理解数据仓库/数据湖的架构和原理。5.精通SQL，具备复杂的查询编写和性能调优能力。6.熟悉Linux系统，至少熟悉一种关系型数据库（MySQL,PostgreSQL）和非关系型数据库（MongoDB,Redis）。7.深入理解并熟练使用Hadoop生态（HDFS,Hive,HBase），精通Spark，Flink，Mapreduce中的至少一种分布式计算框架。8.熟练使用Airflow,DolphinScheduler,Azkaban等至少一种工作流调度工具。9.具备良好的团队合作精神和沟通能力，能够高效协作;10.能够接受短期出差。
联系我时，请说是在58同城上看到的，谢谢！