数据开发

数据开发岗位的主要职责包括：1.数据采集和接入：开发和维护网络爬虫脚本，从亚马逊等电商平台获取竞品、BSR等相关数据，并进行清洗入库；对接第三方数据API（如ERP系统），实现数据接入和管理；开发任务调度模块，按周期调度上述任务，并完善监控告警机制，确保数据采集的稳定性和质量；根据业务需求，构建爬虫任务，完成其他*数据的采集。2.数据仓库与数据管道构建：参与设计和构建面向主题的数据仓库模型；基于贴源层数据，根据数据模型开发ETL脚本，构建三层数据仓库；构建、监控和优化端到端ETL数据管道，确保数据按时、准确地产出；根据业务需求，完成其他特定场景的数据清洗加工。任职要求如下：1.计算机、软件工程或相关专业本科及以上学历，1年以上数据开发相关经验，有跨境电商从业经验者优先。2.精通Python，熟悉Scrapy、Selenium等至少一种主流爬虫框架和工具。3.扎实的SQL功底，精通复杂查询、性能优化，熟悉MySQL、Hive等至少一种主流数据库。4.熟悉ETL流程，有使用Airflow或其他任务调度框架的项目经验。5.熟悉其他开发相关工具，包括但不限于Linux、Git、Shell等。6.了解数据仓库基础理论，如星型/雪花模型、缓慢变化维等。7.具备出色的沟通协作、逻辑思维和问题解决能力，有责任心，对数据质量有高要求。我们期待您加入团队，共同推动数据驱动决策的发展。
联系我时，请说是在58同城上看到的，谢谢！