大数据开发工程师（大数据方向）

岗位职责：1、能独立负责大数据的采集、清洗转换、数仓搭建、数据分析等工作；2、负责数据治理的各环节工作，负责离线任务、实时任务、数仓模型及OLAP数据库开发；3、负责数据处理ETL作业的开发、调试、执行、维护、监控。4、根据大数据平台产品需求和项目实施要求，负责数据仓库搭建，从数据模型、数据同步、数据存储、数据加工、数据分析等方面进行大数据开发；5、负责大数据平台产品的架构设计，大数据开发相关框架、工具、组件的预研和搭建，负责带领和指导数据中台产品的软件设计和实现；6、负责大数据平台的运维及数据治理工作，保障大数据平台稳定运行。任职资格：1、及以上，3年以上大数据开发经验；2、掌握数据管理、数据治理知识体系，具备数据治理实战经验，如数据仓库分层架构、hadoop框架体系、元数据、主数据、数据建模、数据治理等；3、掌握数据仓库体系架构理论，精通数据仓库模型设计；4、熟练掌握多种关系型数据库和非关系型数据库：MySQL、Oracle、PostgreSQL、SQLServer、MariaDB、MongoDB、Redis等；扎实的SQL基础，熟练的SQL开发及优化能力，熟悉Linux/Unix开发环境；5、熟练掌握solr、Elasticsearch、Impala等数据查询分析工具的搭建、使用；熟悉Kafka、Flume等消息队列和日志收集工具的原理、使用场景和方法；6、掌握Hadoop、HBASE、Hive、Spark、Flink等离线和实时计算流程和原理，并有实际开发经验，有较强的调优能力；7、熟练掌握ETL知识和工具，如KETTLE、DataX、NIFI、Informatica等，有ETL数据处理组件的使用和处理作业的设计实现的丰富经验；8、善于交流，有良好的团队合作精神和协调沟通能力，有与产品设计、研发等多方密切配合的经验和意识，有技术交流和分享的精神，有技术探索和引领精神；
联系我时，请说是在58同城上看到的，谢谢！