数据采集

岗位职责：1.能够发挥创造性思维，利用专业技术攻坚数据采集与应用难题；2.能根据需求独立完成采集脚本开发，以及相应的模块功能开发工作；3.负责各类网站、平台和APP端数据抓取、分类和解析。4.参与采集核心算法和策略优化研究。5.忠于研究院事业，完成领导安排的其他工作。任职要求：1、及计算机相关专业，熟悉操作系统（多线程、多进程）、计算机网络编程、数据结构与算法等基础知识；2、具有2年工作经验，1年Linux下常用语言（C/C++/JAVA/Python）开发经验，熟练使用常用Linux命令；3、2年大规模网页数据采集开发经验，熟悉浏览器原理、前端JS、AJAX;4、深入了解前端JS反爬，能解决前端动态JS混淆问题；5、深入了解非逆向、非侵入式手机APP采集方法；6、熟悉使用一门脚本语言（Python/Javascrapy）；7、熟悉使用一种的数据库（Mongodb/Hbase/Mysql）；8、熟悉使用一种的采集框架（Scrapy/Requests/Selenium/Appnium）；9、有房产网，金融数据采集经验的优先考虑；10、有图片识别模型训练经验、验证码识别破解经验的优先考虑。
联系我时，请说是在58同城上看到的，谢谢！