COMED:平衡多大模型推理中路由与协作的选择性协同机制
针对单一大型语言模型在处理复杂查询时可靠性不足的问题,现有多模型系统通常采用路由分发或密集全量协作。但研究表明,模型协作具有非单调性,引入同行模型在纠正错误的同时也可能破坏已有的正确结果。为此,研究团队提出了COMED机制,作为一种后锚点控制器实现受控的模型升级协商,介于单纯路由与全量协作之间,通过选择性触发跨模型协同来兼顾推理准确率与计算效率。
针对单一大型语言模型在处理复杂查询时可靠性不足的问题,现有多模型系统通常采用路由分发或密集全量协作。但研究表明,模型协作具有非单调性,引入同行模型在纠正错误的同时也可能破坏已有的正确结果。为此,研究团队提出了COMED机制,作为一种后锚点控制器实现受控的模型升级协商,介于单纯路由与全量协作之间,通过选择性触发跨模型协同来兼顾推理准确率与计算效率。