https://plumephp.com/tags/candle/Recent content in Candle on PlumePHPHugozh-CNFri, 01 Aug 2025 00:00:00 +0800https://plumephp.com/rust-ai-llm/Fri, 01 Aug 2025 00:00:00 +0800https://plumephp.com/rust-ai-llm/<h2 id="目录">目录</h2> <ol> <li><a href="#1-%E4%B8%BA%E4%BB%80%E4%B9%88-rust-%E9%80%82%E5%90%88-ai-%E6%8E%A8%E7%90%86">为什么 Rust 适合 AI 推理</a></li> <li><a href="#2-candle%E7%BA%AF-rust-ml-%E6%A1%86%E6%9E%B6">Candle：纯 Rust ML 框架</a></li> <li><a href="#3-llmrs-%E6%9C%AC%E5%9C%B0%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86">llm.rs 本地大模型推理</a></li> <li><a href="#4-onnx-runtime-%E9%9B%86%E6%88%90">ONNX Runtime 集成</a></li> <li><a href="#5-rust--python-ffi-%E4%BA%92%E6%93%8D%E4%BD%9C">Rust ↔ Python FFI 互操作</a></li> <li><a href="#6-%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93-qdrant-%E9%9B%86%E6%88%90">向量数据库 Qdrant 集成</a></li> <li><a href="#7-rag-%E6%9E%B6%E6%9E%84%E5%AE%9E%E6%88%98">RAG 架构实战</a></li> <li><a href="#8-%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E4%B8%8E%E9%83%A8%E7%BD%B2">性能优化与部署</a></li> </ol> <hr> <h2 id="1-为什么-rust-适合-ai-推理">1. 为什么 Rust 适合 AI 推理</h2> <p>Python 主导了 AI <strong>训练</strong>生态，但 Rust 在 AI <strong>推理</strong>和<strong>基础设施</strong>领域崛起：</p>