模型看得到屏幕、用自然语言描述定位元素、对真实目标执行操作
ciky20171114/dsh-plugin-midscene · 技能
模型看得到屏幕、用自然语言描述定位元素、对真实目标执行操作——一台真实的 Android 设备或一个真实的 Chrome 浏览器。
★ 3GitHub 星标
1分支
2026-08-28最近更新
TypeScript开发语言
MIT许可证
主要功能
- Provider 是刻意的薄传输层无重试、无前置条件检查、无对意外 UI 状态的自动恢复(意外弹窗、非预期跳转、重新登录)。
- 有这类需求的调用方在其上自行构建——例如每次写操作前检查应用状态的约束/harness 层。
- Android · Provider 入口dsh-plugin-midscene/android · 工具: androidui · 目标: 一台 ADB 连接的设备
- 每个 provider 实例一个目标 —— 每个 context 一台设备或一台浏览器
安装命令
dsh plugin --profile web add github:ciky20171114/dsh-plugin-midscene