CASE FILE / 模型与 Agent 路由

受@typesafeai的启发，这是一个可供使用的与Jev兼容的公共API 它运行类似的开放模型（Qwen 3

受@typesafeai的启发，这是一个可供使用的与Jev兼容的公共API 它运行类似的开放模型（Qwen 3.6 - 35 B-A3 B），并且仅使用SGLang基数缓存来保留预填充重用/非常快速的并行系统生成-64个任务在1秒内。

作者：Eric Zhang @ekzhang1

● ● ●CASE FILEGUIDE

Eric Zhang · @ekzhang1

案例拆解

受@typesafeai的启发，这是一个可供使用的与Jev兼容的公共API 它运行类似的开放模型（Qwen 3.6 - 35 B-A3 B），并且仅使用SGLang基数缓存来保留预填充重用/非常快速的并行系统生成-64个任务在1秒内。 https://t.co/bbRh4yAPAB https://t.co/misKQE8n8f

阅读 109,684喜欢 873转发 50

原帖内容

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://t.co/bbRh4yAPAB https://t.co/misKQE8n8f

这个案例说明了什么？

先用 JEV 决定走哪条模型或工具
高置信度自动路由，低置信度升级
这是最常见的生产接入方式

原帖中的外链

github.com/ekzhang/openje… ↗