Nix 远程构建与分布式构建：builders 协议、ssh-ng 与跨架构

本地 nix build
  → 本地求值出 .drv（derivation）
  → 查询本地 store：缺哪些输出？
  → 挑选一台 builder（按 system/features/负载）
  → 把 .drv 与输入闭包推给 builder，远端构建后把输出推回
  → 本地登记到 store，交给用户

# 1) ssh 免密可达（key 认证）：ssh builder.example.com nix-store --version
# 2) builder 的 trusted-users 包含发起方用户（或走 ssh-ng 受限协议）
# 3) builder 的 nix 版本与本地兼容（store 协议版本一致）

# /etc/nix/machines 每行一台：<uri> <system> - <maxjobs> <speed> <features>
ssh-ng://builder1 x86_64-linux - 8 4 kvm,big-parallel
ssh-ng://builder2 aarch64-linux - 4 2 -

{
  nix.buildMachines = [
    { hostName = "builder1"; system = "x86_64-linux"; protocol = "ssh-ng";
      maxJobs = 8; speedFactor = 4; supportedFeatures = [ "kvm" "big-parallel" ]; }
    { hostName = "builder-arm"; system = "aarch64-linux";
      maxJobs = 4; supportedFeatures = [ ]; }
  ];
  nix.distributedBuilds = true;
  nix.settings.trusted-users = [ "root" "@wheel" ];
}

{
  nix.distributedBuilds = true;
  # 本地也参与构建（默认 true）；关掉则只把任务发出去
  nix.settings.max-jobs = "auto";
}

# 1) 过滤：system 匹配 + 需要的 features 都满足
# 2) 排序：综合 speedFactor 与当前负载
# 3) 抢占：更快的空闲 builder 可以「抢走」队列里的任务

# 本地并行度为 0：几乎所有任务都外派
nix build .#heavy --max-jobs 0
# 只对特定构建用远程（覆盖配置）
nix build .#heavy --builders 'ssh-ng://fast-builder x86_64-linux - 16 8'

{
  nix.settings = {
    max-jobs = "auto";   # 本机并行构建数；auto = 按 CPU 核数
    cores = 0;           # 每个构建可用的核数；0 = 用全部核
  };
  # 声明本机支持的 features（builder 匹配时用）
  nix.systemFeatures = [ "kvm" "big-parallel" "nixos-test" ];
}

# max-jobs 是「本地」的并发上限；远程 builder 的并发由 machines 行的 maxjobs 决定
# cores 会被远程 builder 继承：本地 cores=4 → 远端构建也按 4 核调度
# features 不匹配时该 builder 直接被跳过（例如需要 kvm 的 NixOS 测试）

{
  nix.buildMachines = [
    {
      hostName = "arm-box";
      system = "aarch64-linux";     # 关键：声明目标 system
      maxJobs = 8;
      supportedFeatures = [ ];
    }
  ];
  nix.distributedBuilds = true;
}

# 用本地交叉包集，x86 上直接产出 aarch64 产物
nix build nixpkgs#pkgsCross.aarch64-multiplatform.hello
file result/bin/hello    # 产物是 aarch64 ELF

{
  # 注册 binfmt，让 x86 内核能执行 aarch64 二进制
  boot.binfmt.emulatedSystems = [ "aarch64-linux" ];
  nix.settings.extra-platforms = [ "aarch64-linux" ];
}

# 方向一：本地信任 builder —— builder 回传的产物被本地 store 接受
#         通过 trusted-users / trusted-public-keys 控制
# 方向二：builder 信任本地 —— 本地能把 .drv 推给它执行
#         通过 builder 的 trusted-users 包含发起用户

{
  # 谁可以「以他人身份」操作 store（含远程构建的 .drv 推送）
  nix.settings.trusted-users = [ "root" "@wheel" "ci-runner" ];

  # 只接受签名过的产物（远程构建机需配 signing key）
  nix.settings.require-sigs = true;
  nix.settings.trusted-public-keys = [ "cache.example.com-1:AAAA..." ];
}

# 观察调度：-v 会打印「delegating build to ...」
nix build .#pkg -v 2>&1 | grep -i 'delegat\|builders'
# 探测 builder 连通性与版本
nix store ping --store ssh-ng://builder1
# 限制并发避免本地内存爆掉
nix build .#pkg --max-jobs 4

{
  # builder 上同时开二进制缓存，构建完立即推送
  nix.settings.post-build-hook = "/etc/nix/push-to-cache.sh";
}

CI runner（轻量）→ 远程 builder 集群（重型）→ 二进制缓存
     求值 + 调度          并行构建             供所有机器下载

- name: Configure remote builders
  run: |
    echo "ssh-ng://ci-builder x86_64-linux - 16 8 big-parallel" > ~/.config/nix/machines
    echo "builders = @$HOME/.config/nix/machines" >> ~/.config/nix/nix.conf
    echo "distributed-builds = true" >> ~/.config/nix/nix.conf
- name: Build
  run: nix build .#default -L

# 构建完把结果推到缓存，后续任务直接下载
cachix push my-cache result
# 或让 builder 直接推（post-build-hook）