利用跨LLM分歧引导专家参与：大规模数据标注编码本的高效修订方法
针对大规模文本标注中编码规范（Codebook）构建耗时漫长的问题，该研究提出利用大语言模型（LLM）加速这一流程。方法通过在早期将编码本应用于数据，筛选出多个LLM之间存在显著分歧的疑难样本，从而精准引导专家介入并提供针对性反馈。研究探讨了多种专家反馈形式，包括直接编辑由跨模型分歧驱动生成的修改方案，以及解答模型争议问题等，有效提升了人机协同标注与规范迭代的效率。
推荐理由提出通过跨模型分歧精准定位边界案例并调度专家精力，为大模型时代的大规模数据标注工程提供了新范式。
原标题：Experts Rise Where LLMs Disagree: Using Cross-Model Disagreement to Target Expert Effort in LLM Codebook Revision for Large-Scale Annotation
阅读 arXiv 自然语言处理 原文 ↗