JEV 中文指南 · 独立资料与开发者社区 官方信息请以 TypeSafe AI 为准
← 返回真实案例库

CASE FILE / 模型与 Agent 路由

好吧,Jev实际上可以很好地使用电脑 没有任何屏幕截图,或者LLM和没有像素离开我的Mac 我甚至没有读过Dom元素 本地CoreML模型分割了…

好吧,Jev实际上可以很好地使用电脑 没有任何屏幕截图,或者LLM和没有像素离开我的Mac 我甚至没有读过Dom元素 本地CoreML模型分割了屏幕上的每个按钮和UI元素。 设备上OCR读取标签。这条短信就是杰夫得到的全部内容。 它返回这些元素的概率,并告诉我最适合单击的元素。 然后它单击,重新运行检测,并再次做出决定。循环,直到目标完成。 每次决定~ 90 ms。比我尝试过的任何LLM计算机都快。 快速使用计算机,没有任何延迟 @ty

作者:Milind S @milindlabs
● ● ●CASE FILEGUIDE
Milind S · @milindlabs

案例拆解

好吧,Jev实际上可以很好地使用电脑 没有任何屏幕截图,或者LLM和没有像素离开我的Mac 我甚至没有读过Dom元素 本地CoreML模型分割了屏幕上的每个按钮和UI元素。 设备上OCR读取标签。这条短信就是杰夫得到的全部内容。 它返回这些元素的概率,并告诉我最适合单击的元素。 然后它单击,重新运行检测,并再次做出决定。循环,直到目标完成。 每次决定~ 90 ms。比我尝试过的任何LLM计算机都快。 快速使用计算机,没有任何延迟 @typesafeai正在构建一些非常有趣的东西

阅读 111,583喜欢 1,619转发 85

原帖内容

Okay so Jev can actually do computer use really well Without any screenshots, or LLMs and no Pixels leave my mac I dont even read the Dom elements A local CoreML model segments every button and UI element on screen. On-device OCR reads the labels. That text is all Jev gets. It returns a probability across those elements and tells me the best one to click. Then it clicks, re-runs detection, and decides again. In a loop until the goal is done. ~90ms per decision. Faster than any LLM computer use I've tried. Blazing fast computer use, without any latency @typesafeai is building something really interesting

这个案例说明了什么?

  • 先用 JEV 决定走哪条模型或工具
  • 高置信度自动路由,低置信度升级
  • 这是最常见的生产接入方式