高级爬虫工程师

职位描述：1、负责开发网络爬虫系统以及优化爬虫策略，进行多平台信息的抓取和分析；2、完成客户数据采集与爬取、解析处理、入库等客户数据日常工作；3、负责公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略；4、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量，提升爬虫系统的稳定性、可扩展性；5、实时监控爬虫的进度和警报反馈；任职资格：1.以上，具有2年以上实际网络爬虫或分布式采集开发工作经验，能力优秀者可适当放宽限制；2.熟悉python语言，具备扎实的编程功底，具有良好的程序设计能力；3.熟悉爬虫原理，熟悉Scrapy、pyspider等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题；4.熟练使用pythonrequest、xpath、BeautifulSoup、正则等模块；5.了解各种Web前端技术,包括XHTML、CSS、JavaScript、AJAX等；6.熟悉mysql、mongodb、redis客户数据库基本操作；7.熟悉Linux系统及其命令操作，熟悉Git版本管理工具；8.业务理解和分析转化能力较强，富有进取精神及团队合作精神，责任心强，善于合作沟通，能够承受压力；加分项：会ast抽象语法树，有rpa软件开发经验、有golang经验、爬取过图表一类的数据
联系我时，请说是在58同城上看到的，谢谢！