Hermes 浏览器工具:让 AI 替你操作网页

Hermes 浏览器工具:让 AI 替你操作网页
青萍叙事前言
今天我们要介绍的是 Hermes Agent 的浏览器工具集。
用一句话说就是:让 AI 替你操作网页。
你给它一个网址,它能输入文字、点击按钮、滚动页面、截图分析,全程不需要你动手。
这套能力有两层实现方式。
第一层是 Hermes 内置的浏览器工具集,十几个工具覆盖了绝大多数网页操作需求。
第二层是 Browser Harness,一个第三方开源框架,能让 AI 自己编写操控脚本并优化,适合更复杂的任务。
如果你刚开始接触这些工具,别担心,我会从概念开始一步步带着你用起来。
什么是 Hermes 浏览器工具
Hermes 的浏览器工具有 10 个核心操作:
browser_navigate,打开网页,是所有操作的前提browser_snapshot,获取当前页面的无障碍树快照,返回可交互元素的 ref IDbrowser_click,点击 ref ID 对应的元素browser_type,往输入框填入文字browser_scroll,向上或向下滚动页面browser_press,按键盘键(Enter、Tab、Escape 等)browser_back,回退到上一页browser_vision,截图并用 AI 分析画面内容browser_get_images,列出页面上的所有图片browser_console,读取浏览器控制台输出
如果通过 CDP 连接浏览器,还会额外解锁两个工具:browser_cdp(发送原始 CDP 指令)和 browser_dialog(处理 alert/confirm 弹窗)。
每个浏览器后端都支持这些工具,区别只在于浏览器跑在哪里。
启用浏览器工具集
浏览器工具默认没开,需要手动加到工具列表里:
1 | hermes config set toolsets '["hermes-cli", "browser"]' |
或者通过交互式配置:
1 | hermes setup tools |
在菜单中选择 Browser Automation 并选择你偏好的后端。
本地浏览器模式(零成本起步)
如果你刚开始接触,本地模式是最简单的起点。不花钱,不用注册任何云服务。
Hermes 通过 agent-browser 驱动本地安装的 Chromium。只需要确保系统里有 Chrome 或 Chromium:
1 | # 安装 agent-browser CLI |
启动 Hermes 后,直接发指令:
1 | 帮我打开 https://www.36kr.com,看看今天有哪些热门资讯 |
Hermes 会自动启动一个后台 Chromium 进程,打开页面,抓取内容,然后把结果返回给你。
所有操作都在你的电脑上完成,不经过第三方服务器。
CDP 模式(亲眼看着 AI 操作)
本地模式浏览器跑在后台,你看不到操作过程。
如果你想亲眼看着 AI 操作,就用 CDP 模式。
先以远程调试模式启动你的浏览器。
macOS 上的 Chrome:
1 | "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" \ |
浏览器启动后,打开控制台,运行 /browser connect:
1 | /browser connect |
连接成功后,AI 操作会直接反映在你眼前的浏览器窗口中。
适合调试网页,或者需要借用你已登录的会话的场景。
完成后用 /browser disconnect 断开连接。
Browser Harness 是什么
Browser Harness 是 browser-use/browser-harness 开源项目,让 AI 直接通过 CDP WebSocket 连上你的浏览器。
和内置的 browser_ 工具集相比,Browser Harness 的操控更底层、更灵活——AI 可以自己编写操控脚本并不断优化,这就是所谓的”自愈”能力。
它需要手动安装并注册为 Hermes 的技能才能使用:
1 | # 克隆仓库 |
然后在 Hermes 终端里直接告诉它用 Browser Harness 操作浏览器即可。
如果想通过 CDP 连接本地浏览器,还需要先以调试模式启动 Chrome:
1 | "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" \ |
之后 Hermes 就能通过这个 CDP 通道操控 Chrome 页面。
使用场景
填表单、下单、预约
这是最直接的应用。
给 AI 一个注册链接,告诉它填入什么信息,它会自己导航到页面、找到输入框、填入内容、点击提交。
1 | 帮我用 email@example.com 在 example.com 注册一个账号,密码用 xxxxxx |
抓取 JavaScript 渲染的数据
很多现代网站的数据是通过 AJAX 动态加载的。
普通的 web_extract 工具只能拿到初始 HTML,但浏览器工具会等 JavaScript 执行完毕后读取渲染后的 DOM。
1 | 打开我的后台面板 http://localhost:3000/dashboard,截图看看今天的指标 |
截图做可视化 QA
部署新版本后,让 AI 打开几个关键页面截图确认,可以替代人工巡检。
1 | 打开网站首页、登录页、个人中心,每页截图让我看看 |
多步骤研究
从一个文档页面出发,顺着链接跟踪到多个子页面,最后汇总信息。
1 | 打开 Hermes 官方文档的浏览器页面,看看支持哪些后端,帮我汇总成表格 |
Browser Harness 进阶:重复性操作自动化
对于需要每天重复的网页操作(登录后台、导数据、填写日报),Browser Harness 的 domain skills 机制能让这些步骤不断自我优化。AI 会记住每个网站的布局特征和操作流程,下一次执行得更快。
写在最后
Hermes 的浏览器工具给 AI 装上了一双能”看”能”点”的手。
本地模式适合初学者零成本体验,CDP 模式让你看着 AI 操作真实浏览器。
Browser Harness 则为复杂场景提供了自愈式的操控能力。
从简单的截图问答到完整的网页自动化流程,这套工具有很大的想象空间。















