语音增强与麦克风阵列

引言

语音增强（Speech Enhancement）的目标是在噪声、混响与干扰中还原干净语音。它是所有语音交互系统的第一环：智能音箱的远场唤醒、视频会议的通话质量、车载免提、耳机降噪，底层都依赖语音增强。前端处理没做好，后面的识别与编码再强也救不回来——垃圾进、垃圾出。

工程上的核心矛盾是失真与噪声的取舍。把噪声压得越狠，语音本身的失真越大；保守处理则噪声残留明显。所有算法都在「保留语音、抑制噪声」这条线上找平衡，而平衡点取决于下游：语音识别偏好低失真，人耳通话偏好低噪声。

本文聚焦麦克风阵列与语音场景，从单通道的 VAD 与双讲检测讲起，进入阵列几何与标定，再到波束成形、去混响与神经增强。通用滤波器设计不在本篇范围——biquad、FIR/IIR 的数学与实现见 audio-dsp-filters ；回声消除的完整链路见 audio-streaming-latency 。本篇只讲「多麦克风如何协同提取语音」。

目录

1. 语音增强的问题定义
2. 语音活动检测（VAD）
3. 双讲检测与回声场景
4. 麦克风阵列几何与标定
5. 波束成形基础：延迟求和
6. 自适应波束成形：MVDR 与 GSC
7. 去混响：谱减法与 WPE
8. 端到端神经语音增强概览
9. 实时实现与工程约束

1. 语音增强的问题定义

观测信号可以建模为：

y(t) = h(t) * s(t) + n(t) + v(t)

s(t) 干净语音
h(t) 房间脉冲响应（混响）
n(t) 加性噪声（稳态或非稳态）
v(t) 干扰语音（其他说话人）

目标是从 y 估计 s。三个分量对应三类问题：去噪（抑制 n）、去混响（反卷积 h）、分离（抑制 v）。三者常同时存在。

1.1 为什么单通道很难

单通道下，语音与噪声在同一个通道里混在一起，只能靠统计差异区分：语音是非平稳的、稀疏的、有谐波结构；噪声常是平稳的、宽带的。这个假设在很多场景失效（非稳态噪声如键盘声、婴儿哭闹）。

多通道的关键优势是空间信息：语音来自一个方向，噪声可能来自其他方向。波束成形正是利用这一点的核心工具。

1.2 评价指标

PESQ / POLQA   语音质量感知评分（需参考信号）
STOI           短时客观可懂度（0~1，越高越好）
SI-SDR         尺度不变信噪比（dB）
MOS            主观评分（最权威，最昂贵）

这些指标的工程化测量见 audio-quality-testing 。

2. 语音活动检测（VAD）

VAD 判断当前帧是语音还是非语音，是所有增强算法的「开关」。VAD 不准会导致：语音起始被削掉（可懂度下降）、噪声段被当作语音增强（残留）。

2.1 基于能量的 VAD

最朴素的判据是短时能量，但受噪声电平影响大。改进版用信噪比自适应门限：

import numpy as np

class EnergyVAD:
    def __init__(self, frame=480, sr=16000):
        self.frame, self.sr = frame, sr
        self.noise = 1e-6          # 噪声底估计
        self.threshold_db = 6.0    # 高于噪声底 6 dB 判为语音

    def __call__(self, x):
        energy = np.mean(x ** 2) + 1e-12
        snr_db = 10 * np.log10(energy / self.noise)
        is_speech = snr_db > self.threshold_db
        if not is_speech:
            # 只在非语音段更新噪声底（快降慢升）
            self.noise = 0.95 * self.noise + 0.05 * energy
        return is_speech

2.2 基于特征的 VAD

能量 VAD 在非稳态噪声下失效。更鲁棒的做法用频谱特征：

2.3 统计模型 VAD（GMM / DNN）

工业界主流是统计模型：用高斯混合模型或小型 DNN 对每帧计算「语音后验概率」，再经迟滞（hangover）平滑成二值判决。WebRTC 的 VAD 就是一个基于 GMM 的经典实现，算力极低（< 1% 单核）。

GMM-VAD 特征：子带能量 + 谱平坦度 + 谱差
判决：p(speech|feature) > 0.5 经 hangover（加 5~10 帧滞后）

2.4 迟滞与滞后保护

无论哪种 VAD，都需要滞后保护：判决为语音后至少维持 N 帧（hangover），避免语音尾音被切；判决为非语音后延迟 M 帧再切换，避免把词间停顿误判。典型值：hangover 515 帧（80240 ms @ 16 kHz/10 ms 帧）。

3. 双讲检测与回声场景

3.1 双讲（Double-Talk）

在免提通话中，远端信号从扬声器播出后又被本地麦克风拾取，形成回声。AEC（声学回声消除）用自适应滤波器估计回声路径并减去。但当本地与远端同时说话（双讲）时，自适应滤波器会被本地语音「带偏」，导致发散。

双讲检测（DTD, Double-Talk Detection）就是识别这一状态并冻结自适应更新：

双讲判据：近端信号能量 >> 残留回声估计能量
       且 远端信号与近端信号的相关性下降

def double_talk_detect(mic_power, residual_power, threshold_db=6.0):
    """简化判据：近端能量显著高于残留回声估计"""
    ratio_db = 10 * np.log10((mic_power + 1e-12) / (residual_power + 1e-12))
    return ratio_db > threshold_db

3.2 双讲与语音增强的交互

语音增强与 AEC 是两个不同的模块但共享信息。AEC 在双讲时的处理质量直接决定后续波束成形的输入信噪比。工程上两者常做成联合优化：AEC 的残留回声估计可作为波束成形的先验。

3.3 与 AEC 的边界

AEC 的完整原理（NLMS、频域自适应、非线性残留抑制）见 audio-streaming-latency 。本篇只讲「双讲检测」这一判据本身，以及它对阵列处理的影响。

4. 麦克风阵列几何与标定

4.1 常见阵列拓扑

智能音箱多用 48 麦环形阵列，耳机与手机多用 24 麦差分阵列。

4.2 阵列的物理约束

波束宽度与阵列孔径成反比：

θ_3dB ≈ 0.89 · λ / (N · d)      （λ 波长，N 阵元数，d 间距）
48 kHz 下 8 cm 间距的 4 麦线性阵列，4 kHz 时波束宽度约 20°

间距超过半波长（d > λ/2）会产生空间混叠（栅瓣），导致旁瓣拾取方向模糊。因此高频必须用小子阵列或差分阵列。

4.3 标定误差的影响

阵列的增益与相位失配会严重破坏波束成形性能。1 dB 增益误差或 5° 相位误差就能让 20 dB 的旁瓣抑制退化到 10 dB。标定方法：

1. 近场单点标定：扬声器置于阵列正前方 1 m，测各通道幅相
2. 补偿：对每个通道乘一个复数校正系数
3. 定期复标：温漂与器件老化会引入新的失配

工程上必须把标定系数作为出厂数据写入设备，并在运行时做一致性检查（通道间相关性、能量比）。

4.4 位置误差

阵元实际位置与设计位置的偏差（装配公差）也会引入相位误差。对 4 kHz（λ = 8.6 cm），1 mm 位置误差对应约 4° 相位误差。这是消费级阵列必须做在线自校准的原因。

5. 波束成形基础：延迟求和

波束成形（Beamforming）通过组合多通道信号，增强某个方向的信号、抑制其他方向。

5.1 延迟求和（Delay-and-Sum）

最基础的波束成形器：对各通道按目标方向的到达时差做对齐，再求和。

import numpy as np

def delay_and_sum(mic_signals, doa, mic_positions, sr=16000, c=343.0):
    """mic_signals: (M, N)，doa: 目标方向单位向量"""
    delays = (mic_positions @ doa) / c          # 各通道相对延迟（秒）
    samples = np.round(delays * sr).astype(int)
    aligned = np.zeros_like(mic_signals)
    for m in range(mic_signals.shape[0]):
        aligned[m] = np.roll(mic_signals[m], -samples[m])
    return aligned.mean(axis=0)

延迟求和的性能：对白噪声增益为 1/M，方向性取决于阵列几何。它的优点是鲁棒（不需要估计噪声统计），缺点是旁瓣高、对非目标方向干扰抑制有限。

5.2 频域实现

实时系统通常在频域做波束成形：对每帧做 STFT，对每个频点乘一个复数权重向量，再 ISTFT。

Y(k, f) = Σₘ Wₘ(k, f) · Xₘ(k, f)

权重 W 由方向向量与噪声统计决定，这是区分各种波束成形器的关键。

6. 自适应波束成形：MVDR 与 GSC

6.1 MVDR（最小方差无失真响应）

MVDR 在保证目标方向增益为 1 的前提下，最小化输出总功率：

min  Wᴴ Φₙₙ W     s.t.  Wᴴ d(θ) = 1
解：W = Φₙₙ⁻¹ d(θ) / (d(θ)ᴴ Φₙₙ⁻¹ d(θ))

Φₙₙ 是噪声协方差矩阵，d(θ) 是方向向量。MVDR 能自适应地在干扰方向形成零陷，理论上优于延迟求和。

def mvdr_weights(noise_cov, steering, diag_load=1e-3):
    """noise_cov: (M, M)，steering: (M,)，返回 (M,) 权重"""
    M = noise_cov.shape[0]
    # 对角加载提升数值稳定性（关键！）
    Phi = noise_cov + diag_load * np.trace(noise_cov) / M * np.eye(M)
    inv = np.linalg.inv(Phi)
    w = inv @ steering / (steering.conj() @ inv @ steering)
    return w

对角加载（diagonal loading）是必须的：噪声协方差矩阵在实际中总是病态的（语音泄漏、相干噪声），直接求逆会导致权重爆炸。

6.2 GSC（广义旁瓣抵消）

MVDR 的约束优化可以等价改写为 GSC 结构：

GSC = 固定波束成形器（上支路，保语音）
    - 阻塞矩阵 + 自适应噪声抵消器（下支路，消噪声）

         ┌──▶ w_q ──────────────────────┐
X ──┬────┤                              ▼
    │    └──▶ B（阻塞矩阵）──▶ w_a ──▶ (减) ──▶ Y
    └── 阻塞矩阵 B 满足 Bᴴ d(θ) = 0（对目标方向置零）

GSC 把「约束优化」转成「自适应滤波」，可用 NLMS 在线更新，算力低、易实现。缺点是对阻塞矩阵的失配敏感（方向估计错误或标定误差会让语音泄漏到噪声支路，被抵消掉）。

6.3 自适应算法的选择

工程上常用频域 NLMS：每帧每频点独立更新权重，收敛快且算力可控。

7. 去混响：谱减法与 WPE

混响会严重损害可懂度（尤其远场），也是语音识别的头号敌人。

7.1 谱减法

最简单的方法：从功率谱中减去估计的混响/噪声功率谱。

def spectral_subtraction(X_power, noise_power, alpha=2.0, floor=0.01):
    """X_power: 观测功率谱，noise_power: 噪声/混响功率谱估计"""
    gain = np.maximum(1 - alpha * noise_power / (X_power + 1e-12), floor)
    return gain        # 应用到复谱

floor 是「音乐噪声」抑制地板——不设地板时，减法会在噪声段留下孤立的谱峰，听起来像「水声」。

7.2 WPE（加权预测误差）

WPE 是当前去混响的工业标准，基于「晚期混响可由早期信号线性预测」的假设：

每帧每频点，用过去 L 帧的观测预测当前帧的晚期混响
再减去预测的晚期混响，得到去混响信号

def wpe(X, taps=10, iterations=3):
    """X: (F, T) 复谱，迭代估计并去除晚期混响"""
    F, T = X.shape
    for _ in range(iterations):
        # 1. 构建延迟矩阵（过去 taps 帧）
        # 2. 用加权最小二乘估计预测滤波器 g
        # 3. 减去预测的晚期混响，更新信号估计
        ...
    return X_dereverb

WPE 的算力约与 F × taps² 成正比，一个 512 点 FFT、10 抽头、3 次迭代的实现约占单核 5~15%。它的优势是不依赖噪声/混响的先验模型，只利用信号的时序相关性。

7.3 去混响与波束成形的顺序

标准流程是先波束成形、后去混响：波束成形利用空间信息先提升信噪比，去混响再处理时间维度。反过来做（先去混响再波束成形）会放大通道间的不一致性。

8. 端到端神经语音增强概览

传统方法依赖显式建模（噪声统计、房间模型），神经方法直接从数据学习映射。

8.1 掩码估计

主流做法是估计时频掩码：网络输入含噪谱，输出 0~1 的掩码，与观测谱相乘。

幅度掩码（Magnitude Masking）：输出实值 0~1，乘到幅度谱
复数掩码（Complex Masking）：输出复数，同时修幅度与相位
理想比率掩码（IRM）：目标 = √(S²/(S²+N²))，常用训练目标

复数掩码优于幅度掩码，因为相位误差是语音失真的主要来源（尤其低信噪比时）。

8.2 网络结构

实时场景偏好因果、低延迟、低算力的结构。一个可在手机上实时运行的模型参数量通常在 0.55 M，每帧算力控制在 50200 MMAC。

8.3 阵列与神经方法的结合

两条路线：

• 级联：波束成形 → 神经增强。简单，但波束成形的失真会传递。
• 联合：网络直接吃多通道信号，同时学空间与谱处理。性能更好，但需要多通道训练数据。

多通道训练数据的稀缺是这一路线的主要瓶颈——真实多通道录音成本高，仿真数据与真实数据存在域差距，模型部署又受端侧算力约束。工程上常用域自适应与数据增强来缩小这条差距。

9. 实时实现与工程约束

9.1 延迟预算

语音增强的延迟由帧长与算法决定：

STFT 帧长 32 ms（512 点 @ 16 kHz），hop 16 ms
波束成形：无额外延迟（频域逐帧）
WPE：需过去 10 帧，约 160 ms 前瞻
神经网络：因果模型无前瞻，非因果模型需数帧

远场语音助手可容忍 100~300 ms，但通话场景要求 < 60 ms。WPE 的抽头数是延迟的主要来源，低延迟场景要减少抽头或改用因果变体。

9.2 浏览器与嵌入式

浏览器端用 AudioWorklet 实现阵列处理，把每帧的 STFT、波束成形、ISTFT 放在音频线程。注意 Worklet 的 128 帧块与语音算法的 512 点 FFT 帧不对齐，需要缓冲重组。实现细节见 audio-worklet-realtime 。

嵌入式（DSP/MCU）上，波束成形的矩阵求逆必须避免——用 GSC + NLMS 替代 MVDR，或固定权重（预计算的延迟求和/超指向波束）。定点实现要注意累加器位宽与溢出。

9.3 方向估计（DOA）

波束成形需要知道目标方向。DOA 估计方法：

GCC-PHAT：互相关相位变换，鲁棒、算力低，适合 2 麦
SRP-PHAT：空间谱扫描，适合阵列，算力高
MUSIC：子空间法，精度高但需协方差矩阵分解

工程上智能音箱用 SRP-PHAT 做唤醒词方向定位，精度约 ±10°。

权衡取舍

常见坑清单

1. 阵列未标定就上 MVDR：1 dB 增益误差或 5° 相位误差就让旁瓣抑制退化一半，必须先标定。
2. 协方差矩阵不求逆正则化：噪声协方差病态导致权重爆炸，必须加对角加载。
3. 麦克风间距超过半波长：产生空间混叠（栅瓣），高频方向模糊，需分频段处理。
4. VAD 无滞后保护：语音尾音被切、词间停顿误判，必须加 hangover。
5. 双讲时自适应滤波器发散：AEC 或波束成形的自适应更新在双讲时必须冻结。
6. 谱减法不设地板：噪声段残留孤立谱峰，产生「音乐噪声」，必须设 gain floor。
7. 先去混响后波束成形：放大通道不一致性，标准顺序是先波束后去混响。
8. WPE 抽头数忽略延迟：10 抽头在 16 kHz 下约 160 ms 前瞻，低延迟场景超标。
9. 神经模型用非因果结构做实时：非因果模型需要未来帧，实时场景必须用因果或加足够延迟。
10. 只测 PESQ 不测可懂度：PESQ 对降噪后的失真不敏感，必须同时看 STOI 与主观听感。

小结

语音增强的核心是空间信息与统计信息的结合。VAD 决定「何时处理」，双讲检测决定「何时冻结自适应」，波束成形利用方向差异提升信噪比，去混响处理时间维度的拖尾，神经方法则在数据驱动下同时优化谱与相位。这五个模块的串联构成了远场语音前端的完整链路。

实践上，最值得投入的三处是：阵列标定（决定波束成形性能上限）、WPE 去混响（远场可懂度的关键）、复数掩码的神经增强（低信噪比下的性能拐点）。三者叠加，远场语音的识别率与主观质量都能显著提升。

继续深入建议读 audio-streaming-latency 理解 AEC 的完整原理与系统层低延迟，读 audio-dsp-filters 补齐滤波器与自适应算法基础，读 audio-worklet-realtime 掌握浏览器端的实时实现。