利用跨LLM分歧引导专家参与:大规模数据标注编码本的高效修订方法
针对大规模文本标注中编码规范(Codebook)构建耗时漫长的问题,该研究提出利用大语言模型(LLM)加速这一流程。方法通过在早期将编码本应用于数据,筛选出多个LLM之间存在显著分歧的疑难样本,从而精准引导专家介入并提供针对性反馈。研究探讨了多种专家反馈形式,包括直接编辑由跨模型分歧驱动生成的修改方案,以及解答模型争议问题等,有效提升了人机协同标注与规范迭代的效率。
针对大规模文本标注中编码规范(Codebook)构建耗时漫长的问题,该研究提出利用大语言模型(LLM)加速这一流程。方法通过在早期将编码本应用于数据,筛选出多个LLM之间存在显著分歧的疑难样本,从而精准引导专家介入并提供针对性反馈。研究探讨了多种专家反馈形式,包括直接编辑由跨模型分歧驱动生成的修改方案,以及解答模型争议问题等,有效提升了人机协同标注与规范迭代的效率。
针对大语言模型在司法推理分析中的难点,该研究提出了一个句子级基准,用于评估大模型分类法律解释准则的能力。研究基于传统法学解释理论构建了分类标准,发布了经过句子级人工标注的德国联邦宪法法院判决数据集,并在专家手写提示词设定下,对来自三个模型家族的四款大语言模型进行了基线性能评测。
针对大语言模型在复杂法律推理中面临的结构性挑战,研究人员提出了LEGO框架。传统RAG及GraphRAG往往侧重词汇或语义相似度,忽略了法律条文间的规范关系;而普通思维链提示易生成缺乏法律规范结构的推导过程。LEGO采用双模块架构,将法律专家GraphRAG与专家级思维链相结合,有效规范了法律条文检索与逻辑推理链路,旨在突破高风险法律领域的推理瓶颈。
大语言模型已被广泛应用于教育对话数据的教学构念标注与分类,但其黑盒推理特性导致难以验证模型对具体话语分类的机理依据。为此,研究团队提出了 EduBehaviors 框架。该框架是一种可解释且具扩展性的教育数据标注方案,通过利用大语言模型量化与多种构念相关的可观测重复行为,进而训练下游分类器,实现标注过程的可追溯与审计(原摘要结尾略有截断)。