高级爬虫工程师

工作职责：1、负责分布式系统的架构设计和开发；2、独立负责前瞻技术的研究选型及方案评估；3、负责整体项目的研发与推进；4、参与团队技术分享和培训。5、熟练掌握各类系统的技术设计思路，负责技术整体设计；任职资格：1、及以上，计算机、软件工程、数学等相关专业；2、具有5年以上python开发经验，熟练掌握框架；3、熟悉常用的分布式系统，熟悉Zookeeper、Nginx、Kafka、Redis、Mangodb、Flink等相关技术；4、有数据和服务大型分布式系统开发与设计经验，熟练掌握设计模式和代码优化技巧、熟悉分布式API服务架构、流式数据处理；5、熟练掌握MySQL/Oracle∕PostgreSQL等关系型数据库，熟悉Hbase、Redis、时序数据库等NoSQL数据库；6、有良好的团队合作精神和沟通能力，能够快速适应团队工作；7、具备扎实的计算机基础知识，热爱技术，善于学习。8、熟悉大模型相关的数据处理，包括数据爬取、数据增强、数据清洗、数据标注及后处理等。
联系我时，请说是在58同城上看到的，谢谢！