数据采集工程师

岗位职责：1、负责大数据采集平台的搭建及相应功能的研发；配置环境及安装数据库，搭建目标数据仓库，进行维度建模；2、负责大数据处理相应功能的研发；负责源数据全量或增量的抽取、清洗、转换、加载等功能的实现；根据数据分析模型或可视化需求，编写存储过程对数据进行加工汇总等；3、负责解决大数据相关疑难技术问题及新技术的跟踪。任职要求1、数学、计算机、通讯相关专业，统招及以上，3年以上相关工作经验；2、能很好了解数据的需求，逻辑较强及有数据思维；3、有不少于2个项目的数据采集成功经验，在数据挖掘和采集方面经验不少于2年，具有对*的网站进行数据采集和清洗工作，同时根据百度等搜素进行特征归整清洗数据，参与大数据的架构设计、开发、部署、自动化运维和数据分析等工作；精通Java/Python/等至少一门开发语言；熟悉Linux开发环境，良好的系统编程、算法基础、系统设计能力；4、熟练掌握大数据相关技术Hadoop、Spark、Zookeeper、Flume、Kafka等，并有实际项目经验；了解结构化数据与非结构化数据处理方法；有集群经验者优先；5、熟悉数据开发及周边相关数据库系统Hive、Redis，包括关系型数据Oracel，MySql；熟悉异构数据库间的增量获取方式和数据同步方式；6、精通数据仓库模型，能够熟练进行事实表、维度表、汇总表的建模，具备大型数据仓库开发实际经验；有海量数据分布式存储/实时计算开发经验者优先；7、善于业务理解，具备快速解决问题的能力，能够承受工作中的压力；8、具有较强的学习能力,具备团队合作精神，与算法、web前端、Java工程师协作完成项目目标。
联系我时，请说是在58同城上看到的，谢谢！