摘要：Peekaboo 是 OpenClaw 作者开发的 macOS UI 自动化工具，能让 AI 助手通过视觉识别来操作电脑界面。这篇文章记录了我从零开始安装到实际使用的全过程，包括遇到的坑和解决方法。

---

目录

• Peekaboo 是什么
• 安装前的准备
• 安装步骤详解
• 基本命令使用
• 配合 OpenClaw 使用
• 实际应用场景
• 常见问题解决

---

Peekaboo 是什么

用了一段时间的 OpenClaw（龙虾）后，我发现如果不装 Peekaboo，AI 助手基本只能聊天，没法真正操作电脑[[1]]。Peekaboo 这个工具的核心功能就是让 AI 能"看见"屏幕上的内容，然后像人一样去点击、输入、操作[[5]]。

简单来说，它做了这几件事：

• 截取屏幕画面
• 识别界面上的按钮、输入框等元素
• 模拟鼠标点击和键盘输入
• 管理应用窗口和菜单

对于想在 Mac 上实现 AI 自动化的朋友来说，这玩意儿确实挺有用的。

安装前的准备

在开始之前，你得确保几件事：

1. 系统是 macOS：这个工具只支持 Mac，Windows 和 Linux 暂时用不了
2. 安装 Homebrew：如果还没装，先去 https://brew.sh 安装
3. Node.js 环境：建议安装 Node 22 或更高版本
4. OpenClaw：如果想配合 AI 使用，需要先安装 OpenClaw

我一开始没装 Homebrew，直接用 npx 尝试安装，结果各种报错[[3]]。后来老老实实用 Homebrew 才搞定。

安装步骤详解

方式一：Homebrew 安装（推荐）

这是最省事的方法，我 personally 推荐这个方式[[1]]。

第一步：添加 tap

打开终端，输入：

brew tap steipete/tap

这个命令会添加 Peekaboo 的软件源。如果网络不好可能会卡住，耐心等一下。

第二步：安装 Peekaboo

brew install peekaboo

安装过程大概需要几分钟，取决于你的网络速度。

第三步：验证安装

peekaboo --version

如果能看到版本号，说明安装成功了。

方式二：直接下载

如果你不想用 Homebrew，也可以从 GitHub Releases 页面下载二进制文件[[1]]。不过这种方式后续更新比较麻烦，不太推荐。

方式三：作为 MCP 服务器使用

如果你是开发者，想集成到自己的项目里，可以用 npx 直接运行[[5]]：

npx -y @steipete/peekaboo

这种方式不需要全局安装，适合临时测试或者集成到特定项目中。

基本命令使用

装好之后，咱们来试试几个基本命令。

截图功能

最简单的用法就是截个图：

peekaboo capture

这个命令会截取当前屏幕，并保存为图片文件[[13]]。

如果想截取特定应用窗口：

peekaboo capture --app "Safari"

识别界面元素

这是 Peekaboo 的核心功能之一。运行：

peekaboo inspect

它会分析当前屏幕上的所有 UI 元素，包括按钮、文本框、菜单等，并给出它们的位置和属性[[14]]。

模拟点击操作

找到想要点击的元素后，可以用：

peekaboo click --coordinates "100,200"

或者通过描述来点击：

peekaboo click --description "提交按钮"

文本输入

模拟键盘输入：

peekaboo type "你好，这是自动化测试"

这个功能在填写表单时特别有用。

配合 OpenClaw 使用

单独用 Peekaboo 已经挺强了，但真正的威力是配合 OpenClaw 这样的 AI 助手[[2]]。

配置步骤

第一步：确保两个工具都装好了

# 检查 OpenClaw
claw --version

# 检查 Peekaboo
peekaboo --version

第二步：安装 Peekaboo 技能

clawhub install peekaboo

这个命令会把 Peekaboo 注册为 OpenClaw 的一个技能[[23]]。

第三步：测试集成

试试让 AI 帮你操作电脑：

claw "帮我打开 Safari，访问 GitHub，然后搜索 peekaboo"

如果一切正常，你会看到 AI 真的在操作你的电脑[[4]]。

工作流程

整个过程是这样的[[27]]：

1. AI 接收你的自然语言指令
2. 通过 Peekaboo 截取屏幕画面
3. 分析界面上有哪些可操作的元素
4. 决定下一步动作（点击、输入等）
5. 执行操作
6. 再次截图验证结果
7. 重复直到任务完成

实际应用场景

用了一段时间，我发现 Peekaboo 在几个场景下特别实用：

场景一：重复性表单填写

每天都要在某个系统里填同样的表单？可以让 AI 帮你：

claw "打开 CRM 系统，新建客户记录，填入以下信息..."

场景二：批量文件处理

需要批量重命名文件或者整理文件夹：

claw "打开 Finder，选中下载文件夹，把所有 PDF 文件移动到文档文件夹"

场景三：自动化测试

测试自己的应用时，可以让 AI 模拟用户操作：

claw "打开我的应用，注册一个新账号，填写所有必填字段"

场景四：数据抓取

从网页或应用中提取数据：

claw "打开 Safari，访问某网站，把第一页所有标题复制下来"

常见问题解决

问题一：权限不足

现象：运行 peekaboo 时报错，说没有权限截图

解决：

1. 打开"系统偏好设置" → “安全性与隐私”
2. 找到"隐私"标签页
3. 在"屏幕录制"里，给终端（Terminal）添加权限
4. 可能还需要在"辅助功能"里添加权限

这个我刚开始也遇到了，macOS 的安全机制确实比较严格。

问题二：找不到 UI 元素

现象：inspect 命令看不到某些界面元素

解决：

• 确保目标应用支持 Accessibility API
• 有些 Electron 应用可能需要特殊处理
• 尝试更新 Peekaboo 到最新版本

问题三：操作速度太慢

现象：AI 操作电脑时反应很慢

解决：

• 检查系统资源占用情况
• 减少屏幕分辨率
• 考虑升级硬件（M 系列芯片表现更好）

问题四：Homebrew 安装失败

现象：brew install 报错

解决[[7]]：

# 先更新 brew
brew update

# 清理缓存
brew cleanup

# 重新安装
brew uninstall peekaboo
brew install peekaboo

问题五：和 OpenClaw 集成不上

现象：clawhub install peekaboo 失败

解决[[3]]：

• 检查 OpenClaw 版本是否最新
• 尝试手动配置技能路径
• 查看 OpenClaw 的日志文件

一些使用建议

用下来有几点心得，分享给大家：

1. 权限要给够：Peekaboo 需要屏幕录制和辅助功能权限，不给的话基本用不了

2. 网络要稳定：如果配合 AI 使用，需要稳定的网络连接

3. 从简单开始：刚开始别一上来就搞复杂任务，先从简单的截图、点击练手

4. 注意安全：AI 操作电脑时是真的在控制你的系统，涉及敏感操作时要小心

5. 多看文档：官方文档 https://peekaboo.sh 挺详细的，遇到问题先去查查[[10]]

总结

Peekaboo 这个工具确实让 Mac 自动化上了一个台阶[[24]]。以前 AI 助手只能动嘴（聊天），现在能动手（操作电脑）了。

优点：

• 安装相对简单（用 Homebrew 的话）
• 功能强大，能真正操作界面
• 和 OpenClaw 集成后很好用
• 开源，可以自己改代码

不足：

• 只支持 macOS
• 某些应用兼容性有问题
• 操作速度还有提升空间
• 文档以英文为主

如果你是 Mac 用户，又对 AI 自动化感兴趣，这个工具值得试试。特别是配合 OpenClaw 使用，确实能解放不少重复劳动[[22]]。

---

参考资源：

• GitHub：github.com/openclaw/Peekaboo
• 官方文档：peekaboo.sh
• OpenClaw：github.com/openclaw/openclaw
• 问题反馈：GitHub Issues

---

相关文章：

• OpenClaw 安装教程
• macOS AI 自动化实践
• UI 自动化测试指南