大数据开发工程师

职位要求1、计算机相关专业以上，3年以上数据仓库需求分析与设计开发经验；理解数仓主题建设和维度建模，有实际数仓或ETL开发与实施建设经验；2、对事实表、维度表、聚合表有一定的理解，能够结合现有情况设计符合标准的数仓模型和方案；3、拥有hive查询优化，观察yarn日志优化速度的能力，对hive不同存储格式的优缺点有一定的了解如orc,parquet等；4、熟练掌握Spark/Hive/Hadoop/Flink工作原理及应用；5、熟练掌握ES搜索引擎，具备使用与调优经验优先（*好8版本）；具有海量数据处理经验优先；6、熟练掌握ETL等调度工具（如datax,）者优先；7、至少能使用一种Python、Scala、Java、Shell等脚本语言；8、有对机器学习、人工智能深入了解的优先；9、具备良好的沟通能力、自我学习能力和团队合作精神，责任心强，具备强烈的进取心、求知欲；业务方向网络安全方向岗位职责1、负责数仓架构设计与ETL任务的开发、调优与运维等工作;2、参与数据治理,提升数据易用性,梳理指标体系,保证数据准确性,一致性；3、负责对业务需求进行数据建模，参与海量数据情况下的数据库调优等工作；4、构建标签体系,辅助相关部门构建用户画像，关系图谱；5、参与部门产品的数据库设计，构建数据模型及相关的设计文档；6、能快速从海量数据提取所需数据
联系我时，请说是在58同城上看到的，谢谢！