大数据架构师

岗位职责1、负责主线产品、平台（含业务及数据中台）架构设计、核心开发工作（Hadoop&Spark技术方向），基于业务场景设计*优的系统解决方案；2、负责大数据平台的架构设计、核心代码开发等任务；根据项目要求编写相关技术文档；3、负责大数据核心技术和前沿技术的调研和技术难点攻关；4、构架支持超大数量级的数据的大数据平台系统，及相关监控，拓展系统设计及实现；5、利用Hadoop、Spark等大数据技术对海量数据进行处理，支持建模（算法）的工程化实现；6、通过机器学习等技术进行数据分析及建模的方案的系统化设计，负责数据挖掘项目的架构设计工作；7、负责大数据平台的架构评审，代码评审，上线评审；参与数据应用需求、设计、审核和评审；8、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码；9、负责大数据技术团队管理工作。岗位要求1、计算机相关专业以上，连续8年以上大数据开发相关工作经验，5年大数据（TB以上）架构主导经验；2、主导过数据仓库项目的落地、掌握主流数仓的架构和模型设计方法和理论、能根据业务需求设计数据仓库架构，满足业务需求；3、具有企业级数据仓库项目设计经验，精通数据仓库架构，熟悉数据仓库项目的实施流程；4、精通大数据平台相关构建，维护及调优经验，有超大数据量级下的大数据集市相关经验；5、精通ETL如Sqoop，Kettle等相关工具、BI、数据分析方法；6、精通Hadoop生态圈的相关组件，深度了解HDFS、HBase、Hive、Spark、YARN、MR等组件，并具备5年以上Hadoop/Spark代码级的调优经验7、精通离线和实时数据处理流程，掌握离线数据处理框架Hive、Impala、Spark-sql等，掌握实时数据处理常用技术工具，包括Storm、SparkStreaming等；8、精通MySQL数据库及其专有概念，熟练书写SQL语句，精通SQL优化；9、精通常见数据流接入工具，包括Flume、kafka等；10、熟练使用Java进行复杂业务逻辑的数据处理工作，具备海量数据处理以及性能优化的能力；11、熟练使用HBase、Kafka、Clickhouse、ElasticSearch、InfluxDB、SpringBoot/cloud；12、熟练掌握机器学习技术经验丰富者优先考虑;熟悉数据挖掘算法、数据可视化，会使用Python、Scala优先考虑；13、关注开源社区，开源项目贡献者优先；14、良好的沟通与表达能力，思路清晰，有强烈的责任心和创新意识，业务逻辑理解与分析能力强；
联系我时，请说是在58同城上看到的，谢谢！