我把GPT-4的API调用砍了60%,团队以为我换了更便宜的模型
8h ago · 3 min read · 我把 GPT-4 的 API 调用砍了 60%,团队以为我换了更便宜的模型——其实我只是用了这个开源路由框架 工具选错了吗?不,是「路由」策略错了。 你可能已经听说过 LLM 路由(LLM Routing)的概念——让不同的查询自动分发到不同的模型,简单的用便宜的,复杂的用贵的。 但我敢打赌,你用的「路由」其实是这个: if len(prompt) < 100: model = "haiku" else: model = "gpt-4o" 这不叫路由,这叫if-else,只是在...
Join discussion