使用 Azure AI 内容安全 SDK 实现文本与图像有害内容检测

解决应用内容治理痛点：通过集成 Azure AI Content Safety SDK，自动化检测文本和图像中的仇恨、自残、色情及暴力内容，并根据严重程度级别（Severity）做出拦截决策。

为什么需要这个技能

在构建面向用户的 AI 应用或社交平台时，无法完全依赖模型自身的对齐能力来过滤有害信息。如果用户输入或 AI 输出包含攻击性、色情或暴力内容，不仅违反法律法规，还会损害品牌声誉。

Azure AI Content Safety 提供了工业级的审核能力，能够将内容细分为四个维度（Hate, Sexual, Violence, SelfHarm），并给出具体的分级（0-6 或 0-7）。通过本技能，开发者可以快速搭建一套“检测 分级 决策”的自动化审核流水线。

适用场景

• AI 生成内容过滤：在将 AI 生成的结果呈现给用户前，进行最后一层安全检查。
• 用户输入拦截：防止用户在聊天框或评论区发布违规内容。
• 多模态审核：同时对上传的图片和描述文本进行安全扫描。
• 定制化黑名单：针对特定行业或业务场景，创建自定义词库（Blocklist）以实现精准拦截。

核心工作流

1. 环境初始化：安装 azure-ai-contentsafety 库，并配置端点（Endpoint）与 API 密钥。
2. 内容分析：
   • 文本分析：使用 analyze_text 方法，获取四个类别的严重程度得分。
   • 图像分析：通过 Base64 编码或 URL 传入图片，分析潜在风险。
3. 自定义拦截（可选）：使用 BlocklistClient 创建自定义黑名单，通过 halt_on_blocklist_hit 参数实现命中即拦截。
4. 决策执行：根据返回的 severity 数值与业务阈值对比，决定是直接通过、标记审核还是予以拦截。

快速上手示例

# 文本分析基础实现
from azure.ai.contentsafety import ContentSafetyClient
from azure.ai.contentsafety.models import AnalyzeTextOptions, TextCategory
from azure.core.credentials import AzureKeyCredential
import os

client = ContentSafetyClient(
    endpoint=os.environ["CONTENT_SAFETY_ENDPOINT"], 
    credential=AzureKeyCredential(os.environ["CONTENT_SAFETY_KEY"])
)

request = AnalyzeTextOptions(text="需要分析的文本内容")
response = client.analyze_text(request)

for category in [TextCategory.HATE, TextCategory.SELF_HARM, 
                 TextCategory.SEXUAL, TextCategory.VIOLENCE]:
    result = next((r for r in response.categories_analysis 
                   if r.category == category), None)
    if result:
        print(f"{category}: 严重程度 {result.severity}")

下载和安装

下载 azure-ai-contentsafety-py 中文版 Skill ZIP

解压后将目录放入你的 AI 工具 skills 文件夹，重启工具后即可使用。具体路径参考内附的 USAGE.zh.md。

你可能还需要

暂无推荐