量子机器学习前沿：量子 Transformer 与注意力机制

输入：序列 X ∈ R^(L × d)，L 为序列长度，d 为特征维
投影：Q = X W_Q，K = X W_K，V = X W_V（W 为可学习矩阵）
注意力：
  Attention(Q, K, V) = softmax( Q K^T / √d_k ) · V
  - Q K^T 是 L × L 的相似度矩阵（每个位置对每个位置）
  - softmax 按行归一化 → 注意力权重
  - 乘以 V 得到加权聚合的结果

多头：把 d 维切成 h 份，各自做注意力再拼接
  MultiHead = Concat(head_1, ..., head_h) · W_O
前馈：每个位置独立过两层 MLP
残差与层归一化：保证深层可训练
→ 复杂度：注意力 O(L^2 · d)，是序列长度的平方

1. 注意力矩阵是 L × L 的「关联矩阵」
   → 与量子态密度矩阵的「关联结构」形式相似
2. QK^T 本质是高维内积
   → 量子态的保真度/内积是天然操作
3. L^2 的复杂度增长
   → 若能编码进 log(L) 个量子比特，似乎有指数优势

1. 编码：把每个 token x_i 编码为量子态 |x_i⟩（振幅或角度编码）
2. 相似度：用 SWAP 测试或 Hadamard 测试估计 ⟨x_i|x_j⟩
   → 得到注意力矩阵的元素（但每次测量只得到一个元素）
3. 加权：用受控旋转把相似度作为控制，作用到值态 |v_j⟩
4. 读出：测量得到聚合结果
问题：注意力矩阵有 L^2 个元素，逐个估计需 L^2 次测量
→ 指数表示效率被 L^2 次读出吃掉

把 softmax(QK^T) V 看成线性代数问题：
  - 构造一个「注意力算符」A，其矩阵元由 Q、K 决定
  - 把 V 编码为量子态 |V⟩
  - 用 HHL/QSVT 求解 A|x⟩ ∝ |V⟩
→ 理论上对序列长度 L 有指数加速
代价：需要 QRAM 高效制备 |V⟩、需要 A 良态、需要只求全局量
→ 与 HHL 的瓶颈完全同构

振幅编码：把 N 维经典向量 x 编码为 n = log2(N) 个量子比特的振幅
  |x⟩ = (1/||x||) Σ_{i=0}^{N-1} x_i |i⟩

问题：一般情况下的态制备需要 O(N) 的线路深度
  → 指数级的表示效率，但加载代价是 O(N)
  → 「2^n 门槛」：n 个比特承载 2^n 个数，但装进去要 2^n 步

1. QRAM（量子随机存取存储器）：
   假设存在可对数时间查询的量子内存
   → 但 QRAM 的物理实现困难，且自身有噪声问题
2. 数据天然量子：数据由量子过程产生（如量子模拟输出）
   → 此时加载「免费」，但应用场景极窄
3. 结构化数据：低秩、可积函数、稀疏
   → 加载变便宜，但这也正是「去量子化」能奏效的场景
4. 角度编码：把数据编码为旋转角 θ_i（每比特一个特征）
   → 加载便宜（O(n)），但特征空间是单比特旋转的乘积，表达能力受限

经典核方法：K(x, x') = ⟨φ(x)|φ(x')⟩，φ 是特征映射
量子核方法：
  用量子线路 U(x) 制备 |φ(x)⟩ = U(x)|0⟩
  核函数 K(x, x') = |⟨0| U†(x') U(x) |0⟩|^2
  → 用 SWAP 测试或 Hadamard 测试估计
→ 特征空间是 2^n 维的量子态空间

# PennyLane：量子核矩阵（用 adjoint 拼接特征映射的逆）
import pennylane as qml
from pennylane import numpy as np

dev = qml.device("default.qubit", wires=2)

def feature_map(x):
    for i in range(2):
        qml.Hadamard(wires=i)
        qml.RZ(2 * x[i], wires=i)

@qml.qnode(dev)
def kernel(x1, x2):
    feature_map(x1)
    qml.adjoint(feature_map)(x2)     # 逆映射 → 核即 |⟨0|...|0⟩|^2
    return qml.probs(wires=[0, 1])

支持方：
  量子态空间维数 2^n 远大于经典特征空间
  → 可能捕捉经典核无法表达的模式
质疑方：
  1. 量子核矩阵可被经典算法在多项式时间内近似
     （若特征映射是「浅」的，经典可模拟）
  2. 大量实验显示量子核未必优于经典 RBF 核
  3. 训练需要 L^2 次核函数估计（L 为样本数）→ O(L^2) 量子线路调用
→ 「量子核优势」目前缺乏稳健证据

结构：数据编码层 + 可训练变分层 交替堆叠
  |ψ(x, θ)⟩ = U_V(θ_L) U_E(x) ... U_V(θ_1) U_E(x) |0⟩
  输出：测量某个可观测量，如 ⟨Z_0⟩
→ 与经典神经网络类比：编码层 = 输入，变分层 = 权重

核心思想：反复把输入 x 编码进电路（不是只编码一次）
  单比特情形：|ψ(x, θ)⟩ = Π_k R_z(θ_k) R_y(x) |0⟩
  定理（Pérez-Salinas 等，2020）：
    单比特线路反复重上传，可逼近任意连续函数
  → 表达能力的来源不是比特数，而是「重上传层数」

# 数据重上传的单比特分类器（PennyLane）
import pennylane as qml

dev = qml.device("default.qubit", wires=1)

@qml.qnode(dev)
def circuit(x, weights):
    qml.RY(x[0], wires=0)              # 第一次编码
    for w in weights:
        qml.RZ(w[0], wires=0)
        qml.RY(w[1], wires=0)
        qml.RY(x[1], wires=0)          # 重上传
    return qml.expval(qml.PauliZ(0))
# 输出经 sigmoid 作分类概率，用交叉熵损失训练 weights

重上传层数越多 → 表达能力越强（可逼近更复杂的函数）
但层数越多 → 越接近随机电路 → 贫瘠高原风险越高
→ 与经典深度学习「越深越强但越难训」的张力一致

1. 编码：把样本 x 编码为 |ψ(x)⟩
2. 变分：施加 U(θ)，得到 |ψ(x, θ)⟩
3. 测量：估计 ⟨Z⟩ 或某个可观测量 → 分类得分
4. 损失：交叉熵 / 均方误差
5. 梯度：参数移位规则（每参数 2 次线路评估）
6. 更新：经典优化器

1. 梯度估计成本：
   参数移位规则每参数需 2 次线路评估
   加上采样（每次评估需多 shots）→ 训练成本 = 参数量 × shots × 迭代数

2. 贫瘠高原：
   深层/随机 ansatz 下梯度方差随比特数指数衰减
   → 训练信号消失

3. 噪声：
   NISQ 设备的门误差使深层线路的梯度被噪声淹没
   噪声本身也会诱导贫瘠高原
→ 三者叠加使「大规模 QNN 训练」极其困难

1. 希尔伯特空间维数 2^n 提供「指数大的特征空间」
2. 某些采样/学习问题被证明有量子加速
   （如 Aaronson 的量子学习样本复杂度结果）
3. 量子核在某些构造问题上可分离经典核
   （存在人为构造的数据集，量子核优于所有经典核）

Tang 等（2018 起）的结果：
  若数据可「经典采样」且矩阵低秩
  经典算法也能达到 poly(log N) 复杂度
→ 许多「量子 ML 加速」的根源是低秩/可采样假设，而非量子性

更广泛的质疑：
  1. 量子核矩阵可被经典近似（对浅特征映射）
  2. 分离量子核与经典核的数据集往往是人为构造的
  3. 端到端优势需要「输入量子可得 + 输出只需全局量」
→ 至今没有「真实数据 + 真实硬件 + 可信基线」下的量子 ML 优势

PennyLane：
  qml.qnn 模块（TorchLayer / KerasLayer）与经典框架对接
  qml.kernels 提供核矩阵工具，支持参数移位、有限差分、伴随等梯度
Qiskit：
  qiskit-machine-learning 提供 QSVC、VQC、SamplerQNN 等
  qiskit-algorithms 提供 VQE / QAOA 的通用实现
TensorFlow Quantum / TorchQuantum：与 TF / PyTorch 集成

- 分类任务：多为 2~8 比特、几十到几百样本
- 量子核：多为 4~20 比特、数百样本
- 量子 Transformer 实验：多为「量子注意力子模块」的玩具验证
  序列长度 2~4，嵌入维数 2~8
- 与经典基线对比：多数报告「持平或略差」
→ 规模与经典深度学习的差距是 6~10 个数量级

# Qiskit Machine Learning：变分量子分类器骨架
from qiskit_machine_learning.algorithms import VQC
from qiskit.circuit.library import ZZFeatureMap, RealAmplitudes

feature_map = ZZFeatureMap(feature_dimension=4, reps=2)
ansatz = RealAmplitudes(num_qubits=4, reps=3)
# vqc = VQC(feature_map=feature_map, ansatz=ansatz, ...)

1. 数据天然是量子的
   （由量子设备产生，加载「免费」）
2. 输出只需全局量
   （期望值、范数，而非完整预测向量）
3. 问题结构匹配量子优势
   （如量子化学、量子模拟相关的学习任务）
4. 经典方法在此问题上确实吃力
   （不是 XGBoost 能轻松解决的问题）
5. 有容错或早期容错硬件可用
→ 五条同时满足的场景非常稀少

- 这个任务的经典基线是什么？强不强？
- 数据从哪来？是量子的还是经典的？
- 需要读出全部输出还是只要一个标量？
- 现有的量子 ML 论文，其基线是否公平（同数据、同算力）？
- 是否有「去量子化」结果覆盖了这个场景？
→ 五个问题里有任何一个答不上来，就不该投入