Hermes 浏览器工具:让 AI 替你操作网页

前言

今天我们要介绍的是 Hermes Agent 的浏览器工具集。
用一句话说就是:让 AI 替你操作网页。

你给它一个网址,它能输入文字、点击按钮、滚动页面、截图分析,全程不需要你动手。

这套能力有两层实现方式。
第一层是 Hermes 内置的浏览器工具集,十几个工具覆盖了绝大多数网页操作需求。
第二层是 Browser Harness,一个第三方开源框架,能让 AI 自己编写操控脚本并优化,适合更复杂的任务。

如果你刚开始接触这些工具,别担心,我会从概念开始一步步带着你用起来。

什么是 Hermes 浏览器工具

Hermes 的浏览器工具有 10 个核心操作:

  • browser_navigate,打开网页,是所有操作的前提
  • browser_snapshot,获取当前页面的无障碍树快照,返回可交互元素的 ref ID
  • browser_click,点击 ref ID 对应的元素
  • browser_type,往输入框填入文字
  • browser_scroll,向上或向下滚动页面
  • browser_press,按键盘键(Enter、Tab、Escape 等)
  • browser_back,回退到上一页
  • browser_vision,截图并用 AI 分析画面内容
  • browser_get_images,列出页面上的所有图片
  • browser_console,读取浏览器控制台输出

如果通过 CDP 连接浏览器,还会额外解锁两个工具:browser_cdp(发送原始 CDP 指令)和 browser_dialog(处理 alert/confirm 弹窗)。

每个浏览器后端都支持这些工具,区别只在于浏览器跑在哪里。

启用浏览器工具集

浏览器工具默认没开,需要手动加到工具列表里:

1
hermes config set toolsets '["hermes-cli", "browser"]'

或者通过交互式配置:

1
hermes setup tools

在菜单中选择 Browser Automation 并选择你偏好的后端。

本地浏览器模式(零成本起步)

如果你刚开始接触,本地模式是最简单的起点。不花钱,不用注册任何云服务。

Hermes 通过 agent-browser 驱动本地安装的 Chromium。只需要确保系统里有 Chrome 或 Chromium:

1
2
# 安装 agent-browser CLI
npm install -g agent-browser

启动 Hermes 后,直接发指令:

1
帮我打开 https://www.36kr.com,看看今天有哪些热门资讯

Hermes 会自动启动一个后台 Chromium 进程,打开页面,抓取内容,然后把结果返回给你。

所有操作都在你的电脑上完成,不经过第三方服务器。

CDP 模式(亲眼看着 AI 操作)

本地模式浏览器跑在后台,你看不到操作过程。
如果你想亲眼看着 AI 操作,就用 CDP 模式。

先以远程调试模式启动你的浏览器。

macOS 上的 Chrome:

1
2
3
4
"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" \
--remote-debugging-port=9222 \
--user-data-dir="$HOME/.hermes/chrome-debug" \
--no-first-run --no-default-browser-check &

浏览器启动后,打开控制台,运行 /browser connect

1
/browser connect

连接成功后,AI 操作会直接反映在你眼前的浏览器窗口中。
适合调试网页,或者需要借用你已登录的会话的场景。

完成后用 /browser disconnect 断开连接。

Browser Harness 是什么

Browser Harness 是 browser-use/browser-harness 开源项目,让 AI 直接通过 CDP WebSocket 连上你的浏览器。
和内置的 browser_ 工具集相比,Browser Harness 的操控更底层、更灵活——AI 可以自己编写操控脚本并不断优化,这就是所谓的”自愈”能力。

它需要手动安装并注册为 Hermes 的技能才能使用:

1
2
3
4
5
6
# 克隆仓库
git clone https://github.com/browser-use/browser-harness ~/browser-harness
cd ~/browser-harness

# 注册为 Hermes 技能(通过符号链接)
ln -s "$(pwd)" ~/.hermes/skills/browser-harness

然后在 Hermes 终端里直接告诉它用 Browser Harness 操作浏览器即可。

如果想通过 CDP 连接本地浏览器,还需要先以调试模式启动 Chrome:

1
2
3
4
"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" \
--remote-debugging-port=9222 \
--user-data-dir="$HOME/.hermes/chrome-debug" \
--no-first-run --no-default-browser-check &

之后 Hermes 就能通过这个 CDP 通道操控 Chrome 页面。

使用场景

填表单、下单、预约

这是最直接的应用。
给 AI 一个注册链接,告诉它填入什么信息,它会自己导航到页面、找到输入框、填入内容、点击提交。

1
帮我用 email@example.com 在 example.com 注册一个账号,密码用 xxxxxx

抓取 JavaScript 渲染的数据

很多现代网站的数据是通过 AJAX 动态加载的。
普通的 web_extract 工具只能拿到初始 HTML,但浏览器工具会等 JavaScript 执行完毕后读取渲染后的 DOM。

1
打开我的后台面板 http://localhost:3000/dashboard,截图看看今天的指标

截图做可视化 QA

部署新版本后,让 AI 打开几个关键页面截图确认,可以替代人工巡检。

1
打开网站首页、登录页、个人中心,每页截图让我看看

多步骤研究

从一个文档页面出发,顺着链接跟踪到多个子页面,最后汇总信息。

1
打开 Hermes 官方文档的浏览器页面,看看支持哪些后端,帮我汇总成表格

Browser Harness 进阶:重复性操作自动化

对于需要每天重复的网页操作(登录后台、导数据、填写日报),Browser Harness 的 domain skills 机制能让这些步骤不断自我优化。AI 会记住每个网站的布局特征和操作流程,下一次执行得更快。

写在最后

Hermes 的浏览器工具给 AI 装上了一双能”看”能”点”的手。

本地模式适合初学者零成本体验,CDP 模式让你看着 AI 操作真实浏览器。
Browser Harness 则为复杂场景提供了自愈式的操控能力。

从简单的截图问答到完整的网页自动化流程,这套工具有很大的想象空间。