数据采集工程师

岗位职责：负责分布式爬虫系统的架构设计、开发和维护，优化数据调度、抓取、解析、存储全流程研究并优化ChromeDP、Selenium等自动化抓取技术，提升系统稳定性和可扩展性设计防屏蔽策略和智能调度算法，应对各大平台反爬虫机制负责Kafka消息队列、任务调度器的优化和维护处理抓取数据的清洗、标准化和质量分析参与微服务架构优化任职要求：有Go微服务架构开发经验，熟悉gRPC、Gin等框架深入理解ChromeDP、SeleniumWebDriver，有动态页面抓取经验精通HTML/XML解析，熟练使用XPath、正则表达式、JSON解析技术熟悉MySQL/PostgreSQL、Redis、ElasticSearch的使用和优化熟悉Kafka、Rab*tMQ等消息队列的架构和应用深入了解各大平台反爬虫策略及对应的绕行方法熟悉代理IP池、用户代理轮换、验证码识别等技术熟悉Docker容器化部署具备良好的系统设计思维和技术架构能力有强烈的责任心和抗压能力，能独立解决复杂技术问题加分项：有大规模新闻聚合或社交媒体数据采集项目经验优先有模拟登录主流社交媒体平台（Facebook、Twitter等）的经验优先
联系我时，请说是在58同城上看到的，谢谢！