数据标注

岗位职责：1.数据收集与整理：针对大语言模型（LLM）训练需求，收集高质量的文本/图片数据，涵盖多种语言、领域和格式。2.数据清洗与预处理：利用编程和数据处理工具（如Python、SQL等）对数据进行去重、格式标准化、去噪、过滤无效内容等处理，提高数据质量。3.数据标注与分类：根据不同任务需求，对数据进行标注、分类，确保用于训练的数据具有良好的可用性。4.创建高质量测试集：构建多层次的测试数据集，以评估LLM在不同场景下的表现，包括问答、对话、代码生成等任务。5.Prompt调试与优化：研究和设计高效的Prompt，优化模型对不同输入的响应效果，提高任务完成率和用户体验。6.数据分析与质量评估：利用统计和机器学习方法评估数据的有效性，分析数据对模型训练的影响，优化数据筛选和处理流程。7.协助模型微调与优化：配合模型研发团队，利用清洗后的数据集进行模型微调（Fine-tuning），提升模型的任务适应性。8.跟踪行业趋势：关注*新的LLM训练方法、数据处理技术、Prompt工程优化策略，并将其应用于实际工作中。任职要求：1.数据处理经验：有处理大规模文本数据的经验，熟悉数据清洗、去重、分词、文本预处理等操作。2.机器学习/深度学习基础：了解大语言模型的基本原理，熟悉模型微调（Fine-tuning）和评测方法，有实际LLM训练经验者优先。3.Prompt工程经验：具备针对不同任务优化Prompt的能力，有LangChain、LLMAPI（如OpenAI、Gemini、Deepseek等）使用经验者优先。4.数据标注与测试集构建能力：熟悉常见的标注工具和数据标注策略，能够创建高质量的测试集。5.问题解决能力：具备较强的分析能力和数据驱动思维，能够快速定位数据问题并优化处理流程。6.沟通与团队协作：良好的团队合作精神，能够与AI工程师、产品经理等协作，共同优化模型性能。加分项：-有参与大规模LLM训练、微调或优化经验者优先。-熟悉多种自然语言处理任务，如问答系统、文本摘要、代码生成等。-了解AIGC（生成式AI）应用，具备一定的RAG落地经验。-了解Dify、Coze等开发平台。-熟悉数据合成、自动标注、数据增强等前沿技术。
联系我时，请说是在58同城上看到的，谢谢！