数据采集

岗位职责：1.设计并开发用于业务需求的爬虫系统，从*网站和应用中抓取文本、图片、视频和广告等内容；2.定期更新和优化爬虫系统，包括应对反爬策略和优化带宽管理；3.对爬虫获取的数据进行去噪和初步处理分析；4.接入公司内部的数据需求，并合理安排任务，确保交付内容符合要求。任职要求：1.本科及以上学历，计算机相关专业背景，5年以上开发经验，熟悉信息抓取的合规机制；2.熟练使用Python、Go或Java编程语言，精通MySQL数据库；3.精通HTTP协议，熟练运用正则表达式，具备搜索引擎相关知识，能够实现大规模文本抓取和网页信息提取；4.具备独立开发分布式爬虫项目的经验，能够持续批量抓取主流社交平台的数据；5.拥有良好的沟通能力和团队协作精神，逻辑清晰，文字表达能力强，能够承受工作压力，执行力强。
联系我时，请说是在58同城上看到的，谢谢！