从 AutoGLM 到 豆包手机：GUI Agent 技术探索与对比

from phone_agent import PhoneAgent
from phone_agent.model import ModelConfig
from phone_agent.agent import AgentConfig

# 配置模型
model_config = ModelConfig(
    base_url="http://localhost:8000/v1",
    model_name="autoglm-phone-9b",
    temperature=0.1
)

# 配置代理
agent_config = AgentConfig(
    max_steps=50,
    verbose=True,
    lang="cn"
)

# 创建代理
agent = PhoneAgent(
    model_config=model_config,
    agent_config=agent_config
)

# 执行任务
result = agent.run("打开小红书搜索美食攻略")
print(result)

(base) ➜  Open-AutoGLM git:(main) ✗ # 使用智谱 BigModel
python main.py --base-url https://open.bigmodel.cn/api/paas/v4 --model "autoglm-phone" --apikey "04b0ce49aca64b75a23b84edf106918a.6la2gWxV6vTmgxB" "打开小红书搜索美食攻略"
🔍 Checking system requirements...
--------------------------------------------------
1. Checking ADB installation... ✅ OK (Android Debug Bridge version 1.0.41)
2. Checking connected devices... ✅ OK (1 device(s): AVKY022B22007835)
3. Checking ADB Keyboard... ✅ OK
--------------------------------------------------
✅ All system checks passed!

🔍 Checking model API...
--------------------------------------------------
1. Checking API connectivity (https://open.bigmodel.cn/api/paas/v4)... ✅ OK
--------------------------------------------------
✅ Model API checks passed!

==================================================
Phone Agent - AI-powered phone automation
==================================================
Model: autoglm-phone
Base URL: https://open.bigmodel.cn/api/paas/v4
Max Steps: 100
Language: cn
Device: AVKY022B22007835 (auto-detected)
==================================================

Task: 打开小红书搜索美食攻略


==================================================
💭 思考过程:
--------------------------------------------------
用户要求打开小红书并搜索美食攻略。当前在系统桌面。

我需要：
1. 打开小红书应用
2. 在小红书中搜索"美食攻略"

首先，我需要使用Launch功能打开小红书。小红书在允许的应用列表中。

让我先启动小红书应用。
--------------------------------------------------
🎯 执行动作:
{
  "action": "Launch",
  "app": "小红书",
  "_metadata": "do"
}
==================================================


==================================================
💭 思考过程:
--------------------------------------------------
好的，小红书已经打开了。我可以看到小红书的主界面，显示了"发现"标签页，有各种推荐内容。

现在我需要搜索"美食攻略"。我可以看到右上角有一个搜索图标（放大镜图标）。我需要点击它来进入搜索界面。

搜索图标的位置大约在右上角，坐标大约是 (922, 64)。
--------------------------------------------------
🎯 执行动作:
{
  "action": "Tap",
  "element": [
    922,
    64
  ],
  "_metadata": "do"
}
==================================================


==================================================
💭 思考过程:
--------------------------------------------------
很好！搜索界面已经打开了。我可以看到：
1. 顶部有一个搜索框，显示着"iphone air降价"的搜索历史或提示
2. 下方显示"猜你想搜"的建议
3. 有"小红书热点"列表
4. 底部出现了键盘

现在我需要点击搜索框，然后输入"美食攻略"。搜索框的位置大约在顶部，坐标大约是 (448, 64)。

让我点击搜索框。
--------------------------------------------------
🎯 执行动作:
{
  "action": "Tap",
  "element": [
    448,
    64
  ],
  "_metadata": "do"
}
==================================================


==================================================
💭 思考过程:
--------------------------------------------------
我看到搜索框还是显示"iphone air降价"，键盘已经出现了。现在我需要输入"美食攻略"。根据指南，Type操作会自动清除现有文本并输入新文本，所以我可以直接使用Type操作。

让我输入"美食攻略"。
--------------------------------------------------
🎯 执行动作:
{
  "action": "Type",
  "text": "美食攻略",
  "_metadata": "do"
}
==================================================


==================================================
💭 思考过程:
--------------------------------------------------
太好了！我已经成功输入了"美食攻略"，搜索框现在显示"美食攻略"。同时，系统已经显示了一些相关的搜索建议：
- 美食攻略怎么做
- 美食攻略图
- 美食攻略合集
- 杭州美食攻略
- 青岛美食攻略
- 大理美食攻略
- 昆明美食攻略
- 沈阳美食攻略
- 桂林美食攻略
- 顺德美食攻略

现在我需要点击右侧的"搜索"按钮来执行搜索。搜索按钮在右上角，坐标大约是 (911, 64)。
--------------------------------------------------
🎯 执行动作:
{
  "action": "Tap",
  "element": [
    911,
    64
  ],
  "_metadata": "do"
}
==================================================


==================================================
💭 思考过程:
--------------------------------------------------
完美！搜索已经成功执行，现在显示了"美食攻略"的搜索结果页面。我可以看到：

1. 顶部搜索框显示"美食攻略"
2. 有筛选选项：全部、用户、商品、图片、问一问
3. 有排序选项：综合、最新、附近、必吃榜、简单做法、北京等
4. 显示了多个美食攻略的笔记/帖子：
   - "吃货速码！北京10家让你狂炫的宝藏店..."
   - "美食|海鲜大餐做法 厦门美食 我的美食..."
   - "北京必吃榜！本地人强推的10家美食 来北..."
   - "珠海纯土著分享！！必吃的10家小店！！..."

任务已经完成！我成功打开了小红书并搜索了"美食攻略"，现在显示的是搜索结果页面。
--------------------------------------------------
🎯 执行动作:
{
  "_metadata": "finish",
  "message": "任务完成！我已经成功打开小红书并搜索\"美食攻略\"。现在显示的是搜索结果页面，可以看到各种美食攻略的内容，包括北京、厦门、珠海等地的美食推荐，以及海鲜大餐做法等不同类型的美食攻略帖子。"
}
==================================================


🎉 ================================================
✅ 任务完成: 任务完成！我已经成功打开小红书并搜索"美食攻略"。现在显示的是搜索结果页面，可以看到各种美食攻略的内容，包括北京、厦门、珠海等地的美食推荐，以及海鲜大餐做法等不同类型的美食攻略帖子。
==================================================


Result: 任务完成！我已经成功打开小红书并搜索"美食攻略"。现在显示的是搜索结果页面，可以看到各种美食攻略的内容，包括北京、厦门、珠海等地的美食推荐，以及海鲜大餐做法等不同类型的美食攻略帖子。
(base) ➜  Open-AutoGLM git:(main) ✗ 

Open-AutoGLM/
├── main.py                      # CLI 入口，系统检查
├── setup.py                     # 包安装配置
├── requirements.txt             # 依赖列表
├── phone_agent/                 # 核心代码包
│   ├── __init__.py             # 导出公共接口
│   ├── agent.py                # PhoneAgent 主类
│   ├── actions/                # 动作处理模块
│   │   ├── handler.py          # ActionHandler 类
│   │   └── __init__.py
│   ├── adb/                    # ADB 控制模块
│   │   ├── connection.py       # 设备连接管理
│   │   ├── device.py           # 设备操作（点击、滑动等）
│   │   ├── input.py            # 输入法控制
│   │   ├── screenshot.py       # 截图功能
│   │   └── __init__.py
│   ├── model/                  # 模型交互模块
│   │   ├── client.py           # ModelClient 类
│   │   └── __init__.py
│   └── config/                 # 配置模块
│       ├── apps.py             # 应用包名映射
│       ├── i18n.py             # 国际化文本
│       ├── prompts.py          # 系统提示词
│       ├── prompts_en.py       # 英文提示词
│       └── prompts_zh.py       # 中文提示词
├── examples/                    # 使用示例
│   ├── basic_usage.py          # 基础用法
│   └── demo_thinking.py        # 思考过程演示
├── scripts/                     # 工具脚本
│   ├── check_deployment_cn.py  # 部署检查
│   └── sample_messages.json    # 消息样例
└── resources/                   # 资源文件
    ├── privacy_policy.txt      # 隐私政策
    └── WECHAT.md              # 微信群二维码

self._context: list[dict[str, Any]] = [
    # 第 0 条：系统提示词
    {
        "role": "system",
        "content": "你是一个智能体分析专家..."
    },
    # 第 1 条：用户任务 + 第一张截图
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "打开微信\n\n** Screen Info **\nCurrent App: System Home"},
            {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,..."}}
        ]
    },
    # 第 2 条：模型第一次响应
    {
        "role": "assistant",
        "content": "<think>需要启动微信</think><answer>do(action=\"Launch\", app=\"微信\")</answer>"
    },
    # 第 3 条：执行后的新屏幕
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "** Screen Info **\nCurrent App: 微信"},
            {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,..."}}
        ]
    },
    # ... 持续循环
]