数据采集

工作职责：负责大模型相关的数据采集、处理、管理等相关的工作，包括但不限于构建大模型所需的高质量数据集，如书籍、论文、地质图等数据集的采集、处理、清洗和管理;大模型语料元数据的采集和管理;以及与其他团队的协作和沟通。1.设计并实施多模态大模型训练数据的采集、处理及清洗方案，构建高质量训练数据集;2.开发自动化工具链，提升语料处理效率与质量;3.负责大模型语料管理平台的设计与迭代，优化数据存储、检索性能及扩展性;4.负责语料元数据的采集、更新和维护。开发元数据管理API，支持高效查询与数据分析需求;5.探索大模型的技术发展，并应用于团队或个人负责项目中。任职要求1.计算机科学、人工智能、软件工程等相关专业，3年工作经验;2.扎实的数据库、计算机网络等相关理论知识和基础;3.有扎实的Python和Java编程能力。熟悉pandas等数据分析框架、以及selenium，beautifysoup等爬虫框架;熟悉常见爬虫和反爬虫策略。4.熟练掌握SQL/NoSQL数据库(MySQL/Clickhouse/Redis/ElasticSearch等)及分布式存储技术;5.对AI技术有强烈好奇心，能快速理解业务需求;具备跨团队协作能力，对技术细节与工程规范有极致追求
联系我时，请说是在58同城上看到的，谢谢！