音源分离与音乐信息检索

观测：x(t) = Σᵢ sᵢ(t)          （单通道混合）
       x(t) = A · s(t)          （多通道瞬时混合）
       x(t) = Σᵢ hᵢ(t) * sᵢ(t)  （卷积混合，含混响）

2 源分离（人声 + 伴奏）：最成熟，商业可用
4 源分离（人声/鼓/贝斯/其他）：Demucs 已达实用
N 源分离（任意乐器）：仍是研究问题

1. 源之间统计独立
2. 源是非高斯分布（高斯源的 ICA 不可辨识）
3. 混合是瞬时线性的（无卷积）
4. 观测通道数 ≥ 源数（超定）

import numpy as np

def ica_separate(X, iterations=200, lr=0.01):
    """X: (M, N) 观测，返回 (M, N) 估计源（FastICA 的简化版）"""
    M, N = X.shape
    # 1. 中心化
    X = X - X.mean(axis=1, keepdims=True)
    # 2. 白化（去相关 + 单位方差）
    cov = X @ X.T / N
    d, E = np.linalg.eigh(cov)
    W_white = np.diag(1.0 / np.sqrt(d)) @ E.T
    Z = W_white @ X
    # 3. 迭代估计解混矩阵（最大化非高斯性，用负熵近似）
    W = np.eye(M)
    for _ in range(iterations):
        W = W + lr * (np.eye(M) - np.tanh(Z.T @ W.T).T @ np.tanh(Z.T @ W.T) / N) @ W
        # 正交化
        U, _, Vt = np.linalg.svd(W)
        W = U @ Vt
    return W @ Z

- 只能处理瞬时混合，真实房间是卷积混合（需扩展为频域 ICA）
- 频域 ICA 有排列歧义（各频点独立解混，源顺序不一致，需靠相邻频点连续性对齐）
- 幅度歧义（解混矩阵的缩放不确定）
- 对高斯源、相关源失效

IBM(t,f) = 1  若 |S_target(t,f)| > |S_interf(t,f)|
           0  否则

IRM(t,f) = |S_target| / (|S_target| + |S_interf|)      （幅度域）
IRM(t,f) = |S_target|² / (|S_target|² + |S_interf|²)   （功率域，更常用）

# 训练目标：网络输出 M(t,f) ≈ IRM(t,f)
# 损失：MSE 或 源域 SI-SDR（后者更直接优化分离质量）
def estimate_mask(mixture_spec, model):
    mask = model(mixture_spec)          # (F, T, sources)
    estimates = mask * mixture_spec[..., None]
    return estimates

波形 ──▶ 编码器（1D 卷积，学出「基函数」）──▶ 分离网络 ──▶ 掩码 ──▶ 解码器（转置卷积）──▶ 各源波形

import torch, torch.nn as nn

class ConvTasNet(nn.Module):
    def __init__(self, N=512, L=16, B=256, H=512, X=8, R=3, C=2):
        super().__init__()
        # 编码器：把波形映射到 N 维表示
        self.encoder = nn.Conv1d(1, N, L, stride=L // 2, bias=False)
        # 分离网络：1x1 卷积 + 深度可分离卷积块（TCN）
        self.sep = SeparationNet(N, B, H, X, R, C)
        self.decoder = nn.ConvTranspose1d(N, C, L, stride=L // 2, bias=False)

    def forward(self, x):
        w = self.encoder(x)                     # (B, N, T)
        m = self.sep(w)                         # (B, C, N, T)
        return self.decoder(w.unsqueeze(1) * m) # (B, C, T)

1. 波形域与频谱域混合建模（hybrid transformer 版本）
2. U-Net 结构 + 双向 LSTM 建模长程依赖
3. 多源输出（人声/鼓/贝斯/其他），端到端训练

# Demucs v4 (HT Demucs) 的推理接口（示意）
import demucs.api
separator = demucs.api.Separator(model="htdemucs")
origin, separated = separator.separate_audio_file("song.mp3")
# separated: {"drums": tensor, "bass": ..., "other": ..., "vocals": ...}

输入谱 ──▶ 编码器（下采样 4~6 层）──▶ 瓶颈 ──▶ 解码器（上采样）──▶ 各源掩码
                 │                              ▲
                 └────────── 跳跃连接 ──────────┘

专门的数据集：MUSDB18、MUSDB18-HQ、MedleyDB、iKala
主流模型：Demucs htdemucs、Spleeter（4 源）、MDX-Net 系列

鼓：瞬态为主，频谱宽，分离相对容易
贝斯：低频集中，与人声、吉他低频重叠
钢琴/吉他：谐波丰富，与多个乐器重叠，最难

音乐制作：提取采样、remix、伴奏制作
版权检测：旋律与和弦指纹
听力辅助：突出人声（助听器）
语音识别：先分离再识别（鸡尾酒会问题）

s_target  目标源的投影（希望保留的）
e_interf  其他源的干扰（希望抑制的）
e_noise   算法引入的伪影（希望最小）

SDR = 10·log10( ‖s_target‖² / ‖e_interf + e_noise‖² )   总质量
SIR = 10·log10( ‖s_target‖² / ‖e_interf‖² )              干扰抑制
SAR = 10·log10( ‖s_target + e_interf‖² / ‖e_noise‖² )    伪影抑制

import museval   # 或 nussl

scores = museval.evaluate(references, estimates, win=1.0, hop=0.5)
# 输出 (SDR, ISR, SIR, SAR)，形状 (nsrc, nframes)

1. 必须逐源报告，不能用平均值掩盖某个源极差
2. 窗长与 hop 要固定（win=1s, hop=0.5s 是惯例）
3. 允许尺度缩放（scale-invariant）——SI-SDR 是常用变体
4. 前 1 秒常因算法未收敛而极差，评估时通常剔除

BPM 估计：自相关 / 梳状滤波 / 神经节拍跟踪
拍点检测：起始点（onset）检测 + 节拍网格对齐
难点：变速、自由节奏、弱拍起

import librosa

y, sr = librosa.load("song.mp3")
tempo, beats = librosa.beat.beat_track(y=y, sr=sr)
onset_env = librosa.onset.onset_strength(y=y, sr=sr)

流程：色度特征（chroma）提取 → 和弦模板匹配 / HMM / 神经分类
特征：12 维色度向量（每个音级一个 bin）
评估：和弦序列准确率（需对齐的标注）

音乐结构：前奏/主歌/副歌/桥段的分段
方法：自相似矩阵（SSM）+ 新颖度曲线

离线分离：整首歌一次处理，可用非因果模型（Demucs 默认）
实时分离：需要因果模型 + 分块处理
  块大小 0.5~2 s（非因果模型无法真正实时）
  真正的低延迟分离（< 100 ms）目前质量明显低于离线

Demucs htdemucs 离线：一首 4 分钟歌约 10~60 s（GPU 更快）
实时分离（实时因子 < 1）：需要模型压缩、量化、剪枝
  典型手段：INT8 量化（体积减 4 倍，速度提升 2~3 倍）