使用 Azure AI Content Safety 实现文本与图像内容审核

通过集成 Azure AI Content Safety SDK，开发者可以快速构建一套自动化的内容过滤系统，用于检测文本和图像中的仇恨、暴力、色情及自残内容，并支持通过自定义黑名单精准拦截特定词汇。

为什么需要这个技能

在构建用户生成内容（UGC）平台或 AI 聊天应用时，确保输出内容符合安全规范至关重要。手动审核成本极高且延迟大，而简单的关键词匹配又缺乏语境理解能力。

Azure AI Content Safety 提供了基于深度学习的分类模型，能将有害内容分为四个维度（仇恨、性、暴力、自残），并给出 0-6 级的严重程度评分。结合自定义黑名单功能，开发者可以灵活地在“通用 AI 审核”与“特定业务禁词”之间建立多层防御机制。

适用场景

• 社交平台评论区：实时检测并拦截包含暴力或仇恨言论的评论。
• AI 聊天机器人：在 AI 生成回答后进行二次过滤，防止输出违规内容。
• 图片上传审核：自动识别用户上传的违规图像并标记为待审核或直接拦截。
• 行业特定禁词库：为特定业务领域创建专属黑名单（Blocklist），实现精准控制。

核心工作流

1. 环境配置与初始化

首先安装必要的 SDK 包并配置 API 密钥：

npm install @azure-rest/ai-content-safety @azure/identity @azure/core-auth

初始化客户端（注意 ContentSafetyClient 是一个函数而非类）：

import ContentSafetyClient from "@azure-rest/ai-content-safety";
import { AzureKeyCredential } from "@azure/core-auth";

const client = ContentSafetyClient(
  process.env.CONTENT_SAFETY_ENDPOINT!,
  new AzureKeyCredential(process.env.CONTENT_SAFETY_KEY!)
);

2. 文本与图像分析

调用 /text:analyze 或 /image:analyze 接口，系统会返回每个维度的严重程度。

• 文本分析：支持指定 FourSeverityLevels（0, 2, 4, 6）或 EightSeverityLevels（0-7）。
• 图像分析：支持 Base64 编码内容或 Azure Blob URL 链接。

3. 黑名单管理

对于 AI 难以捕捉的特定领域违禁词，可以创建自定义黑名单：

• 创建/更新：使用 PATCH 方法定义黑名单名称和描述。
• 添加词条：通过 :addOrUpdateBlocklistItems 批量注入禁词。
• 联动审核：在分析文本时传入 blocklistNames，若匹配成功则在 blocklistsMatch 中返回结果。

4. 综合审核判定

建议构建一个助手函数，将严重程度评分与黑名单命中结果统一转化为 isAllowed 布尔值，以便于业务逻辑调用。

下载和安装

下载 azure-ai-contentsafety-ts 中文版 Skill ZIP

解压后将目录放入你的 AI 工具 skills 文件夹，重启工具后即可使用。具体路径参考内附的 USAGE.zh.md。

你可能还需要

暂无推荐