大数据爬虫工程师

任职条件:.2年及以上的网络爬虫开发经验，有web端和app端数据抓取能力，熟悉两端的数据抓取方法，计算机相关专业背景；2.熟悉分布式网络爬虫开发；熟悉HTTP协议,xpath，css选择器等；.熟悉网页抓取原理及技术，熟悉正则表达式，从结构化的和非结构化的数据中获取信息；熟悉javascript,网站加密逆向；能处理各种javascript加密破解；.有Scrapyredisspider分布式抓取系统的开发、架构经验，至少熟悉并使用过一种主流爬虫架构，熟练编写scrapy中间件；.具有丰富的反反爬经验，包括图形验证码、滑块验证码、代理IP、JS加密、so签名等；.熟悉mysql、redis、kafka等数据库缓存中间件；.优秀的学习能力与工作规划能力；.良好工作习惯与团队合作精神，能够在跨学科环境中有效沟通。
联系我时，请说是在58同城上看到的，谢谢！