数据开发

【岗位职责】负责基于Hadoop生态的大数据平台开发与优化，涵盖数据采集、清洗、建模与存储全流程。具体包括使用Hive、Spark等组件进行离线数据处理与分析建模，支撑业务数据仓库与报表需求；构建基于Flink的实时计算任务，支持实时指标监控、行为分析与风控规则引擎；参与高性能OLAP引擎（如ClickHouse）的数据建模与查询优化，以满足多维度分析与高速查询需求；编写高质量、可复用的Java代码，提升大数据处理性能与系统可维护性；配合平台运维人员完成任务调度、资源优化、任务容错与系统监控等稳定性工作。【任职要求】精通Java，具备扎实的编程基础与大数据系统开发经验；熟悉Hadoop生态体系（HDFS、YARN、Hive、HBase、Zookeeper等），了解其内部机制与优化策略；熟练使用Spark进行离线计算，有调优、性能分析经验；熟悉Flink实时计算框架，有实际项目开发或运维经验；熟悉常用OLAP引擎（如ClickHouse），了解列式存储、*视图、分区索引等性能优化手段；熟悉数据仓库建模方法（如星型/雪花建模）、ETL流程与数据血缘管理。加分项：有华为MRS平台使用经验者优先，有大数据平台建设或迁移经验者优先。
联系我时，请说是在58同城上看到的，谢谢！