礼貌却未对齐:基于人类语用规范评估大语言模型的礼貌度判断
该论文评估了大语言模型在社交语用学层面是否与人类的礼貌判断相符。研究人员采用包含连续评分和三分类标注的两个英语数据集,对七个主流模型进行了测试。结果显示,模型之间的一致性显著高于模型与人类之间的一致性。策略层面的分析表明,模型与人类判断的对齐主要依赖于显式的语言线索,而在涉及建立融洽关系等隐式语用策略上仍存在理解偏差。
该论文评估了大语言模型在社交语用学层面是否与人类的礼貌判断相符。研究人员采用包含连续评分和三分类标注的两个英语数据集,对七个主流模型进行了测试。结果显示,模型之间的一致性显著高于模型与人类之间的一致性。策略层面的分析表明,模型与人类判断的对齐主要依赖于显式的语言线索,而在涉及建立融洽关系等隐式语用策略上仍存在理解偏差。