大数据开发

大数据开发工程师工作职责:•与业务分析师合作，理解数据并将业务需求转化为可实施的技术解决方案•根据业务需求进行数据建模。•根据数据处理需求进行数据处理脚本开发，搭建数据仓库。并进行维护。•优化组件参数及数据处理脚本，从而提高数据处理性能。•针对实时数据需求，开发流式处理任务。•根据不同基础设施设计不同的数据仓库技术解决方案。常见基础设施包括：AWS,Azure,CDH,AliCloud等职位要求:•计算机科学、统计、信息技术相关专业或。•精通/熟悉hadoop生态的大数据处理架构，包括Hadoop,Hive,Spark,Kafka,Flink等•精通/熟悉数据仓库开发，熟悉ETL开发流程。•精通/熟悉至少一个关系型数据库，Oracle/MySQL/PostgreSQL/SQLServer.精通SQL•精通/熟悉Linux操作，能熟悉编写Shell脚本•精通/熟悉前端报表开发，如Tableau,PowerBI等•至少精通/熟悉一门编程语言，如Java/Python/Go•一年以上基于云服务的大数据开发经验，如AWS的EMR、Redshift，微软的Azure，Snowflake，阿里的DataWorks等。•良好的沟通能力与文档编写能力，良好的英语能力。•学习能力强，具有团队合作精神。
联系我时，请说是在58同城上看到的，谢谢！