利用 AWT 实现 AI 驱动的 Web 端到端（E2E）自动化测试

为 AI 编码工具提供“眼睛”和“双手”：通过 AWT 将声明式 YAML 测试场景转化为 Playwright 实际操作，利用视觉识别替代不稳定的 DOM 选择器，实现真正的端到端自动化测试。

为什么需要这个技能

传统的 E2E 测试高度依赖 DOM 选择器（CSS/XPath），一旦前端 UI 发生细微改动，测试脚本就会大面积失效。此外，对于 Flutter 或高度混淆的 Web 应用，定位元素极其困难。

AWT（AI-Powered E2E Testing）改变了这一模式。它允许 AI 通过视觉匹配（OpenCV）和文字识别（OCR）来定位元素，就像人类用户一样观察页面。同时，它将复杂的测试流程简化为 YAML 声明，让 AI 能够快速设计、执行并分析测试结果，无需开发者手动编写冗长的 Playwright 代码。

适用场景

• 视觉驱动测试：当页面缺乏稳定 ID 或类名，必须依赖视觉特征（图片、布局）进行交互时。
• 跨平台兼容验证：需要自动检测并测试 Flutter、React、Vue、Next.js 等不同框架构建的 Web 应用。
• AI 闭环修复：AI 在修改代码后，需要自动运行 E2E 测试并根据失败报告（Investigation Checklist）自我修复 Bug。
• 快速原型验证：通过编写简单的 YAML 场景快速验证核心业务链路。

核心工作流

1. 定义场景：AI 编写 YAML 格式的测试场景，描述预期的操作步骤和验证点。
2. 执行驱动：AWT 调用 Playwright 驱动真实浏览器，将 YAML 指令转化为模拟人类的交互动作。
3. 视觉定位：利用 OpenCV 模板匹配和 OCR 识别页面内容，无需依赖 CSS 选择器即可精准点击。
4. 结果诊断：测试失败时，AWT 生成结构化的诊断清单，并将“失败 修复”模式记录在 SQLite 学习数据库中，供 AI 持续迭代。

下载和安装

下载 awt-e2e-testing 中文版 Skill ZIP

解压后将目录放入你的 AI 工具 skills 文件夹，重启工具后即可使用。或者使用以下命令快速安装： npx skills add ksgisang/awt-skill --skill awt -g

你可能还需要

暂无推荐