高级数据采集工程师

一、岗位职责1、负责网络爬虫程序设计，开发及维护，对目标网站进行数据爬取分析，找到*优化的爬取策略；2、负责爬虫系统的架构设计和研发，独立进行抓取和清洗工作；3、负责技术难点的攻克；4、负责大规模数据爬虫的性能优化工作；5、有美团、饿了么、淘宝平台采集的工作经验。二、任职资格1、计算机相关专业及以上，1年以上爬虫工作经验者优先；2、精通网页抓取原理及技术，精通正则表达式，熟练从结构化和非结构化的数据中获取信息；3、精通PYTHON、GO、JS语言的一到两种，熟悉数据库性能优化与常见缓存技术与策略；4、精通一种开源爬虫框架，如scrapy、webmagic、nutch、heritrix等等，有开发爬虫框架经验优先；精通反爬策略、验证码识别技术者优先；5、熟悉fiddler，char*等抓包工具；6、具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于分析问题解决问题；7、有强烈的上进心和求知欲，擅于学习新事物；8、擅长算法还原、App脱壳、黑盒调用、App逆向等攻坚技术；9、能处理账号、ip、端口等资源问题的优先。
联系我时，请说是在58同城上看到的，谢谢！