古法编程

使用 Go-Rod 实现高性能浏览器自动化与反爬虫绕过

通过 Go-Rod 直接调用 Chrome DevTools Protocol (CDP)，实现无需 WebDriver 的原生浏览器控制，并利用 stealth 模式有效绕过网站的机器人检测。

为什么需要这个技能

传统的浏览器自动化工具（如 Selenium）依赖 WebDriver 协议，不仅性能较低，且在处理现代单页应用（SPA）和复杂的 Shadow DOM 时较为吃力。同时，大多数网站能够轻易通过 navigator.webdriver 等特征检测出 Headless 浏览器。

Go-Rod 提供了原生的 CDP 驱动，支持线程安全操作、自动等待机制（Auto-wait）以及强大的网络拦截能力。配合 go-rod/stealth 插件，它可以伪装 WebGL 渲染器、插件列表等指纹特征，使其在爬虫和自动化任务中更像真实用户。

适用场景

  • 动态内容抓取：处理 React/Vue 等框架生成的动态页面。
  • 反检测爬虫：需要绕过 Cloudflare 或其他 Bot 检测系统。
  • 自动化测试：对 Web 应用进行端到端（E2E）的功能测试。
  • 网络拦截与模拟：拦截 API 请求、修改响应内容或模拟特定请求头。
  • 并发抓取：利用 Go 的并发特性，通过 Page Pool 管理大量浏览器页签。

核心工作流

1. 基础环境搭建

首先安装核心库及其反检测插件：

# 安装核心库
go get github.com/go-rod/rod@latest

# 安装反检测插件（生产环境必装）
go get github.com/go-rod/stealth@latest

2. 核心操作模式

Go-Rod 提供了 Must 系列方法（快速原型，出错即 panic）和标准错误返回方法（生产环境推荐）。

// 生产环境模式：显式错误处理
el, err := page.Element("#login-btn")
if err != nil {
    return fmt.Errorf("未找到登录按钮: %w", err)
}

3. 绕过机器人检测 (Stealth)

这是最关键的一步。不要使用 browser.MustPage()，而应使用 stealth.MustPage()。

import (
    "github.com/go-rod/rod"
    "github.com/go-rod/stealth"
)

browser := rod.New().MustConnect()
defer browser.MustClose()

// 创建隐身页签，自动注入反检测 JS 脚本
page := stealth.MustPage(browser)
page.MustNavigate("https://bot.sannysoft.com")

4. 高级自动化技巧

  • 网络劫持：使用 browser.HijackRequests() 拦截并修改请求/响应。
  • 自动等待：利用 MustWaitStable() 等待元素动画结束，或 MustWaitRequestIdle() 等待 AJAX 请求完成。
  • 并发池：通过 rod.NewPagePool(n) 限制并发页签数量，防止内存溢出。

下载和安装

下载 go-rod-master 中文版 Skill ZIP

解压后将目录放入你的 AI 工具 skills 文件夹，重启工具后即可使用。具体路径参考内附的 USAGE.zh.md。

你可能还需要

暂无推荐