爬虫开发工程师

一、岗位职责1、负责分布式网络爬虫系统的架构设计与开发,进行多平台信息的抓取和分析,；2、设计爬虫策略和防屏蔽规则，解决封账号、验证码等难点攻克；3、提升网页抓取的效率和质量；4、负责现有爬虫日常维护工作；二、岗位要求1、以上，计算机/信息管理/软件工程相关专业；熟悉多线程编程环境，熟悉常见开源框架；2、具有构建分布式爬虫系统的经验，熟悉爬虫系统整个生命周期的设计及实现；3、熟悉抓取原理及技术，能熟练使用htmlparser/jsoup/xpath/正则表达式等进行文本抽取；了解大数据处理框架(如kafka/storm/hadoop等)优先考虑；
联系我时，请说是在58同城上看到的，谢谢！