大模型在多语言亲属称谓上“能识别却难生成”：文化特定词汇生成基准研究
当前针对大语言模型在多语言亲属关系理解上的评估多采用多项选择，实质将其简化为识别任务。该研究构建了涵盖印地语、泰米尔语和韩语三种非西方语言的亲属称谓生成基准，测试了5款开源大模型在生成与选择任务中的表现。结果显示，模型普遍存在显著能力断层：GPT OSS 120B在对应选项识别中准确率达90.67%，但在自主生成中的合格率仅为36.00%，Llama 3.3 70B等模型亦呈现相同趋势。
推荐理由揭示了大语言模型在非西方语言文化词汇上“易于识别、难于主动生成”的显著能力脱节问题。
原标题：Recognized but Not Produced: A Generation Benchmark for Culturally Specific Kinship Terms
阅读 arXiv 自然语言处理 原文 ↗