数据挖掘

技术能力：熟悉分布式计算框架（如Hadoop、Spark、Flink、Storm）。掌握大数据生态工具（如Hive、HBase、Kafka、Zookeeper、Flink）。熟练使用SQL和至少一门编程语言（Java/Scala/Python为主）。熟悉数据仓库设计（如分层建模、维度建模）和ETL流程开发。了解数据湖（DeltaLake、Iceberg）、实时计算（Flink、KafkaStreams）等技术。经验要求：有大规模数据（TB/PB级）处理、优化和调优经验。熟悉数据管道（DataPipeline）开发，如Airflow、DolphinScheduler等调度工具。具备数据治理、元数据管理、数据质量监控经验。加分项：熟悉OLAP引擎（ClickHouse、Doris、Presto）。了解数据安全、隐私保护相关技术。有DevOps经验（如Docker、K8s）。
联系我时，请说是在58同城上看到的，谢谢！