古法编程

使用 Azure AI VoiceLive Java SDK 实现实时语音对话

通过 Azure AI VoiceLive SDK for Java，开发者可以在 Java 应用中集成基于 WebSocket 的双向语音流，实现低延迟的 AI 语音助手交互。

为什么需要这个技能

传统的语音交互通常采用“录音 → 转文字 → LLM 处理 → 文字转语音”的串行模式，这会导致明显的响应延迟。

Azure AI VoiceLive 采用了实时流式传输技术，允许音频数据在 WebSocket 连接中双向实时流动。这意味着 AI 可以像真人一样在对话中被中断，并且能以极低延迟地响应用户，极大地提升了语音交互的自然度和流畅度。

适用场景

  • AI 智能客服：需要快速响应且支持用户随时打断的语音服务。
  • 语言学习应用：模拟真实对话场景，提供实时口语纠正和交流。
  • 车载/智能家居助手：在需要免手操作且追求实时性的环境中使用。
  • 实时翻译工具：实现近乎同步的语音到语音翻译。

核心工作流

1. 环境配置与认证

首先在 pom.xml 中添加依赖：

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-voicelive</artifactId>
    <version>1.0.0-beta.2</version>
</dependency>

配置环境变量 AZURE_VOICELIVE_ENDPOINT 和 AZURE_VOICELIVE_API_KEY，然后初始化异步客户端：

VoiceLiveAsyncClient client = new VoiceLiveClientBuilder()
    .endpoint(System.getenv("AZURE_VOICELIVE_ENDPOINT"))
    .credential(new AzureKeyCredential(System.getenv("AZURE_VOICELIVE_API_KEY")))
    .buildAsyncClient();

2. 建立会话与参数配置

启动会话并配置语音特性（如采样率 24kHz、PCM16 格式）和 VAD（语音活动检测）参数，以确保 AI 能准确判断用户何时开始和结束说话。

ServerVadTurnDetection turnDetection = new ServerVadTurnDetection()
    .setThreshold(0.5)
    .setSilenceDurationMs(500)
    .setInterruptResponse(true); // 允许中断

VoiceLiveSessionOptions options = new VoiceLiveSessionOptions()
    .setInstructions("You are a helpful AI voice assistant.")
    .setTurnDetection(turnDetection);

3. 音频流传输与事件处理

通过 sendInputAudio 发送 PCM 字节流，并订阅 receiveEvents() 来处理服务器返回的音频片段（RESPONSE_AUDIO_DELTA）或状态变更。

session.receiveEvents().subscribe(event -> {
    if (event instanceof SessionUpdateResponseAudioDelta audioEvent) {
        playAudioChunk(audioEvent.getDelta()); // 播放实时回传的音频
    }
});

下载和安装

下载 azure-ai-voicelive-java 中文版 Skill ZIP

解压后将目录放入你的 AI 工具 skills 文件夹，重启工具后即可使用。具体路径参考内附的 USAGE.zh.md。

你可能还需要

暂无推荐