posts

音频工程

音频是唯一被工程化程度严重低估的媒体类型:采样、编解码、缓冲与时钟任何一环出错,用户听到的都是爆音与延迟。本专题从原理到实现系统展开:数字音频采样与量化、Web Audio API 音频图、AudioWorklet 实时处理、Opus 与 AAC 编解码权衡、滤波器与效果器实现、FFT 与频谱分析、流传输与端到端延迟优化、空间音频与三维声场、混音与母带工程化、VST 插件开发,以及音频质量评估与自动化测试。后续补充的 6 篇进阶内容进一步覆盖房间声学与混响模拟、语音增强与麦克风阵列、音源分离、响度标准化与交付规范、音频硬件接口与驱动栈,以及音视频同步与时间码。

音频是唯一被工程化程度严重低估的媒体类型:采样、编解码、缓冲与时钟任何一环出错,用户听到的都是爆音与延迟。本专题从原理到实现系统展开:数字音频采样与量化、Web Audio API 音频图、AudioWorklet 实时处理、Opus 与 AAC 编解码权衡、滤波器与效果器实现、FFT 与频谱分析、流传输与端到端延迟优化、空间音频与三维声场、混音与母带工程化、VST 插件开发,以及音频质量评估与自动化测试。


📚 专题导览

本专题共 18 篇,前 12 篇按「概览 → 基础 → Web → 编解码 → DSP → 传输 → 空间 → 处理 → 插件 → 质量」的顺序组织,后 6 篇为补充进阶内容(声学 → 语音 → 分离 → 响度 → 硬件 → 同步),建议按表序通读:

阶段文章技术要点
概览音频工程全景:从采样到播放音频链路全景、模拟到数字的转换、播放路径与延迟构成
基础数字音频基础:采样率、位深与量化噪声采样率与奈奎斯特定理、位深与量化噪声、抖动与重采样
WebWeb Audio API 与音频图建模AudioContext 与音频图、节点连接、参数自动化与调度
WebAudioWorklet 与实时音频处理AudioWorklet 处理器、128 帧渲染量子、线程与内存模型
编解码音频编解码:Opus、AAC 与延迟权衡Opus 与 AAC 对比、码率与延迟权衡、容器与封装
DSP音频滤波器与效果器实现IIR 与 FIR 滤波器、双二阶节、常见效果器实现
DSP频谱分析与 FFT 实战FFT 与短时傅里叶变换、加窗与频谱泄漏、梅尔刻度
传输音频流传输与端到端延迟优化音频流协议、抖动缓冲策略、端到端延迟优化
空间空间音频与三维声场HRTF 与双耳渲染、Ambisonics 编码、距离与遮挡模拟
处理混音与母带处理的工程化增益分级、动态范围压缩、响度标准化与 LUFS
插件音频插件与 VST 开发入门VST3 与 Audio Unit、实时约束、参数自动化与状态
质量音频质量评估与自动化测试客观指标 PESQ 与 POLQA、主观听测、自动化回归
声学房间声学与混响模拟几何声学与镜像法、RT60 与吸声系数、脉冲响应卷积混响、FDN 实时混响器
语音语音增强与麦克风阵列VAD 与双讲检测、延迟求和与 MVDR 波束成形、去混响、阵列标定
分离音源分离与音乐信息检索盲源分离与 ICA、频谱掩码、Conv-TasNet 与 Demucs、SDR/SIR 评估
响度响度标准化与交付规范ITU-R BS.1770 与 LUFS、EBU R128 门限、真峰值、平台归一化与交付校验
硬件音频硬件接口与驱动栈I2S/TDM/PDM 与时钟、采样率转换与抖动、ASIO/CoreAudio/ALSA、xrun 排障
同步音视频同步与时间码SMPTE 时间码与 drop-frame、genlock、A/V 偏移容差、唇音同步与漂移补偿

阅读建议

全部文章 Game Golang Saas Rust 游戏开发 客户端开发 GameDev TypeScript Lua Products