工作职责:1.数据采集,按业务需求,对公开网站、API进行抓取与解析,确保数据完整性与及时性。2.维护并优化现有Scrapy/requests/httpx/Selenium等爬⾍脚本。3.数据库操作,使⽤Python操作MySQL、MongoDB、Redis等常⽤存储,完成建库、建表、索引优化及数据清洗。4.编写可复用的CRUD接口(FastAPI/Flask/DjangoRESTframework),供内部系统调用。5.设计并维护⽇常运维脚本(定时备份、批量更新、异常告警)。6.代码执行与维护,在Linu*器上部署、调度(crontab/Airflow)并监控爬虫任务,输出运行日志与可视化报表。7.与算法、产品同事协作,快速响应数据需求变更及线上故障。8.撰写技术文档(接口说明、部署手册、常见问题FAQ),参与CodeReview,遵循GitFlow和PEP8规范。任职资格:1.,计算机、软件工程、信息管理等相关专业。2.熟练使用Python,理解HTTP/Search、Docker、K8s。有算法背景(NLP、机器学习)或对数据可视化(Grafana/PowerBI)感兴趣。你将获得•一线互联网数据团队mentor1v1指导,深入理解大规模数据采集与数据仓库流程。高并发、高性能场景实践,简历亮点项目+实习证明。
联系我时,请说是在58同城上看到的,谢谢!