数据工程师

一、任职要求：1.及以上，计算机科学、软件工程等相关专业；2.具备三年以上同岗位工作经验；3.熟悉数据库管理、.大数据处理框架，如Hadoop、Spark等，能够使用它们来处理大规模数据，并具备数据分布式计算和并行处理的能力；4.熟悉ETL（Extract,Transform,Load）工具，了解数据仓库的概念和设计原理；4.具备编程和脚本语言的能力，如Python、Java、Shell等，能够利用编程语言开发数据处理和转换程序，实现自动化和批量处理；5.了解数据流处理和消息队列的概念和应用，熟悉常见的数据流处理框架，如ApacheKafka、ApacheFlink等。6.关注数据质量和监控、具备系统架构设计和性能优化的能力、数据安全和隐私保护。二、岗位职责：1.设计、开发和维护大规模数据处理系统，确保高效的数据采集、存储、处理和分析。2.负责从各种数据源（如数据库、API、日志文件等）中收集和提取数据，并进行数据清洗和预处理，确保数据的质量和准确性。3.构建和优化数据管道，包括数据提取、转换和加载（ETL）过程，以确保数据的高质量和及时性。4.开发和实现数据仓库架构及数据模型，以支持数据分析和报告需求。5.制定并执行数据安全策略，确保数据的机密性、完整性和可用性。6.使用各种技术和工具，将原始数据转化为有价值的信息并提供给数据分析师和业务用户使用，为企业的数据驱动决策提供支持。7.负责监控和调优数据流程和系统性能，确保数据处理的稳定性和可靠性。8.研究和评估新的数据技术和工具，根据业务需求提出创新的解决方案。9.编写技术文档，记录系统设计、配置和操作手册，以便团队成员能够理解和使用数据工程系统。10.提供数据工程方面的培训和支持，确保团队成员对数据工程的*佳实践和工具有充分的了解。11.985或1优先
联系我时，请说是在58同城上看到的，谢谢！