python开发工程师

职责描述1.负责网络爬虫，数据采集等研发工作;2.负责对爬虫平台架构进行改造和优化;3.负责爬虫各个系统核心代码搭建，性能方面的优化，解决相关难题;5.负责研究各种网站、网页、链接的形态，发现它们的特点和规律;6.设计各种策略和算法，提高数据抓取的效率和质量，解决数据的重复，垃圾数据识别:职位要求1.及以上，计算机相关专业。熟悉Python高并发应用开发，了解爬虫框架Scrapy、Pyspider等;2.拥有良好的代码习惯，结构清晰，逻辑性强，有丰富的面向对象设计及编程能力;3.掌握网页抓取原理及技术，了解反爬机制和解决措施。4.熟悉Web前后端技术，包括HTML/avaScript/AJAX、Flask等。5.熟练使用数据库，如MySQL、MongoDB、Redis，能够使用SQL语句进行操作。6.3-5年以上的爬虫开发经验，有分布式爬虫架构经验者优先。
联系我时，请说是在58同城上看到的，谢谢！