Python开发

我们正在寻找一位资深Python开发工程师，专注于API自动化，负责设计、开发和维护支持大规模AI应用的数据采集、处理与管理的基础设施。该职位重点在于构建API集成，推动数据管道自动化，并确保对AI数据集的高效、可扩展访问。主要职责包括：-设计并管理基于API的数据采集管道，从第三方来源收集结构化与非结构化数据。-与外部API（如REST、GraphQL、gRPC）及内部数据服务对接，实现数据自动获取。-开发定制API，确保AI团队能够无缝访问经过精心整理的数据集。-利用Kafka、WebSockets或Rab*tMQ构建实时数据流解决方案。-使用云原生工具（如AWSLambda、GoogleCloudFunctions）开发事件驱动的数据采集架构。-使用SQL/NoSQL数据库（如PostgreSQL、MongoDB、Elasticsearch）实现高效的数据存储与检索。-构建CI/CD流水线，实现数据管道的自动部署与监控。-优化API性能，确保数据采集管道具备高容错性、可扩展性和安全性。-实施安全的身份验证和授权机制（如OAuth、JWT），保障API数据访问的安全。-持续监控、故障排查并优化数据采集流程，提高整体运行效率。-与数据专家、DevOps和云工程师协作，确保API开发与数据管道及数据需求相匹配。任职要求包括：-计算机科学、软件工程、AI或相关专业的学士或硕士学位。-至少3年软件开发、数据基础设施或API工程领域的工作经验。-在构建面向AI应用的可扩展数据采集及自动化管道方面有成功案例。-熟悉MLOps及AI模型数据预处理流程。-精通Python、Java或Go等编程语言。-拥有API开发经验（如FastAPI、Flask、Express.js、GraphQL、gRPC）及数据管道工具使用经验（如ApacheAirflow、Prefect、Luigi、Dagster）。-熟练掌握SQL/NoSQL数据库及向量数据库的应用。-熟悉AWS、GCP、Azure等云平台和Docker、Kubernetes等容器化技术。-熟悉事件驱动架构及实时数据流技术（如Kafka、WebSockets、Rab*tMQ）。-能适应快节奏、不断变化的AI驱动型工作环境。-具备问题解决能力，能够应对复杂的数据集成挑战。-拥有出色的团队协作与沟通技巧，适应跨职能AI团队的协同工作。
联系我时，请说是在58同城上看到的，谢谢！