爬虫工程师

工作职责1、参与分布式爬虫平台架构、开发工作(如任务调度、多样化抓取、负载均衡、海量数据解析与处理、全链路追踪、指标监控及报警等）；2、根据公司各个业务需求，爬取全网来源的数据，解决各类反爬问题；3、参与爬虫平台架构演进、稳定性治理及性能调优。4、及时响应各目标迭代策略，保障数据精准。职位要求1、熟悉爬虫工作原理，深入了解至少一种主流爬虫框架的架构及原理，如Scrapy；2、统招及三年爬虫工作经验，有大规模数据爬取经验；3、技术扎实，熟练掌握主流爬取技术，如协议破解、模拟点击等；熟悉掌握常用框架，如Selenium/Puppeteer/Splash等；4、具备实际爬虫编写能力，至少熟练掌握Python/Go/Java等其中一种语言；5、具备良好的前端分析能力，对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验；6、具备良好的文档编写及协作能力。自我驱动，执行力强，有攻坚精神；对学习有热情，追求技术进步。岗位亮点1、公司核心业务的开发，工作饱和度高，成就感强；2、集团公司重点项目研发，受到高层领导的高度关注和认可。
联系我时，请说是在58同城上看到的，谢谢！