大数据治理工程师

职位概述：数据工程师将负责对原始数据分析平台的数据处理和治理工作。该职位将参与数据采集、清洗、存储、处理和分析等各个环节，确保数据的质量和可用性，支持科研团队的数据分析需求。主要职责：1、数据采集与集成：负责从各种数据源（包括数据库、文件、API等）批量或实时采集数据。实现数据的全量同步和增量同步。管理API接口采集和文件数据采集任务。2、数据清洗与质量管理：执行批作业和实时作业数据清洗，确保数据的一致性和准确性。管理和优化数据清洗流程，处理数据去重、填充缺失值等任务。3、数据存储管理：设计和管理数据存储解决方案，包括数据源管理、数据层规划。负责存算引擎管理和多环境数据管理。4、数据处理与分析：利用流批一体引擎进行数据处理，支持数据的批处理和实时处理。开发数据处理程序，包括SQL程序、Shell程序、Spark程序等。5、数据安全与治理：实施数据权限控制和安全策略，确保数据的安全性和隐私保护。参与数据治理，包括元数据管理、数据标准管理、数据模型管理等。6、数据共享与服务：支持数据的共享和交换，促进团队协作和数据共享。开发和维护数据共享服务，包括数据服务开发、授权和监控。任职要求：1、教育背景：计算机科学、信息技术、数据分析或相关领域的及以上。2、工作经验：至少2年以上的数据处理和治理相关工作经验。3、技术技能：精通SQL、熟悉Java语言、Hadoop、Spark等数据处理和分析工具；熟悉数据仓库建模和ETL流程设计；了解大数据技术和实时数据处理技术；了解Python。4、沟通能力：良好的团队合作精神和沟通能力，能够与业务部门和技术团队有效沟通。5、问题解决：强大的问题解决能力，能够应对复杂的数据问题和挑战。6、数据治理：熟悉数据治理框架和实践，能够制定和执行数据治理策略。7、数据质量：理解数据质量的重要性，能够实施数据质量控制措施。加分项：1、具有大数据分析平台建设经验者优先。2、具有数据治理和数据质量管理经验者优先
联系我时，请说是在58同城上看到的，谢谢！