掌控智能体框架以控制成本:企业级AI编程智能体的路由与治理
随着企业内AI编程智能体从数百人试点规模扩展至数万人,企业多直接采购Claude Code或Codex等第三方运行框架。此类框架负责决策模型路由、上下文读取、Prompt缓存使用及子智能体调用,直接决定了算力消费单价与调用总量。报告指出,企业若直接使用未加调优的专有或默认框架,将面临高昂且失控的调用成本,亟需加强路由与治理管控。
随着企业内AI编程智能体从数百人试点规模扩展至数万人,企业多直接采购Claude Code或Codex等第三方运行框架。此类框架负责决策模型路由、上下文读取、Prompt缓存使用及子智能体调用,直接决定了算力消费单价与调用总量。报告指出,企业若直接使用未加调优的专有或默认框架,将面临高昂且失控的调用成本,亟需加强路由与治理管控。
针对单一大型语言模型在处理复杂查询时可靠性不足的问题,现有多模型系统通常采用路由分发或密集全量协作。但研究表明,模型协作具有非单调性,引入同行模型在纠正错误的同时也可能破坏已有的正确结果。为此,研究团队提出了COMED机制,作为一种后锚点控制器实现受控的模型升级协商,介于单纯路由与全量协作之间,通过选择性触发跨模型协同来兼顾推理准确率与计算效率。