岗位职责:1.负责国外各电商平台信息的调研、数据爬取、页面内容提取、分析与清洗。2.设计并优化爬虫架构,提升数据采集效率,保障数据安全,及时应对需求变更和平台调整。3.搭建和维护爬虫平台,参与业务需求沟通,推动数据分析落地。4.负责缺陷管理,记录并解决数据相关问题,与开发团队协作优化数据质量。任职要求:1.1-3年爬虫开发经验,统计学、数学、计算机、软件工程等相关专业,2.熟悉Python编程,具备扎实的编程基础,熟悉常见的数据结构、算法、爬虫框架和工具。3.具备电商平台爬取经验,熟悉网站反爬机制,能突破常见的反爬措施(如Cookie*、参数加密、响应数据加密等),具备一定的逆向分析能力者优先。4.熟悉HTTP、TCP等网络协议,掌握抓包分析工具(如Wireshark、Fiddler),具备良好的数据分析能力。5.熟练使用自动化测试工具(Selenium、Playwright),掌握requests、BeautifulSoup,熟悉正则表达式。6.具备MySQL、Redis等数据库的使用经验,熟悉数据存储与优化。7.熟悉Docker与Kubernetes,具备一定的容器化编排技术经验。8.具备良好的沟通能力、学习能力和逻辑思维能力,擅长分析和解决问题。9.有电商相关项目经验、数据处理经验优先。上班时间:9:00-12:0013:30-18:00()
联系我时,请说是在58同城上看到的,谢谢!