【摘要】Agent 操作电脑不能只靠截图。AX Tree 把界面变成语义结构,让模型少猜像素、多读意图。 导语 让 Agent 操作电脑,最直观的方案是让它“看屏幕”。 截图发给视觉模型,模型判断哪里有按钮、哪里有输入框,再给出点击坐标。这条路足够通用,Canvas 应用、游戏、非标准界面都能覆盖。但它有一 阅读全文