欢迎大家收听《Rust 视界》新的一期，这一期我尝试了用 AI 生成繁体口音来尝试下。主播的声音听着不错，但是技术术语可能会略有区别。 > AI 时代的编程语言生态演变：不是赢家通吃，而是专业化分工 ## 引言 近来，一种观点在开发者社区颇为流行：AI将在编程语言生态中产生"马太效应"，即强者愈强、弱者愈弱，最终形成寡头垄断的局面。这种观点认为，Python、TypeScript等被AI工具优先支持的语言将逐渐蚕食其他语言的市场份额，形成赢家通吃的格局。 这种简化的二元观点看似合理，却忽略了计算机科学发展的历史规律和技术演进的内在逻辑。纵观计算机科学发展史，每一次看似要走向"统一"的趋势，最终都演变为更加丰富的专业化生态。AI不会打破这一规律，相反，它很可能会加深语言分化，推动更精细的技术分工。 ## "马太效应"理论的局限 当我们看到Python在AI领域的主导地位，或TypeScript在前端开发中的普及，很容易得出结论：AI工具将加强这种集中趋势。支持这一观点的理由看似充分： - AI代码生成工具优先支持流行语言 - 学习资源和社区支持形成正反馈循环 - 招聘市场对主流语言的需求更大 然而，这种观点过于简化了编程语言生态的复杂性。它忽略了一个关键事实：编程语言不仅是通用工具，更是为特定问题域优化的专用解决方案。 ## 历史上的"统一与专业化"模式 计算机科学发展史告诉我们，"统一"尝试往往催生更丰富的专业化生态： **编程语言领域**：1950-60年代，ALGOL试图成为科学计算的通用语言，COBOL试图统一商业应用。结果呢？这些统一努力反而催生了Simula（模拟）、Fortran（科学计算）、LISP（人工智能）和C（系统编程）等专业化语言。 **Java热潮之后**：1990年代，Java曾被视为"一次编写，到处运行"的终极解决方案。许多人预测它会成为唯一需要的语言。但实际上，我们看到了更大规模的语言专业化爆发：Ruby和Python兴起（敏捷开发）、JavaScript发展（前端）、Go语言（云基础设施）、Scala和Clojure（函数式编程）。 **操作系统领域**：同样，操作系统的发展也遵循这一模式。Windows统治了桌面，Unix/Linux主导了服务器，而移动设备催生了iOS和Android，嵌入式系统则发展出各自的实时操作系统。 ## AI对编程语言生态的真正影响：深化专业化 与其说AI会导致编程语言集中到少数"赢家"，不如说AI正在促进更精细的语言分工与专业化。以下是几个关键的驱动因素： ### 1. 性能临界区的极致优化 随着AI系统规模扩大，对计算效率的追求变得前所未有地迫切。一个典型例子是多媒体处理库ffmpeg可能用汇编重写关键路径，以获取极致性能。这不是技术倒退，而是AI驱动下的专业化趋势：在关键性能瓶颈处使用最适合的工具。 ### 2. 多层次语言生态的形成 AI时代的语言生态很可能形成更清晰的分层： - **底层性能层**：汇编语言和C用于极致性能优化（如神经网络推理引擎核心） - **系统基础设施层**：Rust/C++用于系统组件和AI基础设施 - **服务协调层**：Rust/Go/Java用于服务和分布式系统 - **应用开发层**：Rust/Python/JavaScript用于快速开发和AI交互 ### 3. AI辅助的跨语言开发流程 AI工具不仅会支持单一语言的开发，还将促进多语言协作开发。想象一个AI助手能够无缝地在Python原型、Rust实现和汇编优化之间转换，使"最佳工具用于最佳任务"成为可能。这种趋势已经在大型AI系统开发中显现：用Python进行模型设计，用C++/CUDA实现性能关键部分。 ## 案例分析：Rust在AI生态中的位置 在这种专业化趋势下，Rust这类系统级语言可能会找到自己独特的位置： ### 作为"安全的底层语言" Rust的零成本抽象和内存安全保证使其成为汇编语言的理想替代品。在大多数情况下，它能提供接近汇编的性能，但有更好的安全性和可维护性。只有在极少数性能绝对关键的地方才需要真正的汇编语言。 ### AI基础设施的理想选择 随着AI基础设施复杂度提高，Rust的类型系统和内存安全特性使其成为构建大规模、可靠AI系统的理想选择。已经有越来越多的AI基础设施项目选择Rust作为实现语言，如Candle（轻量级机器学习框架）和TensorFlow Rust绑定。 ### 边缘AI的优势 随着AI向边缘设备迁移，对资源效率的要求提高，Rust在嵌入式和资源受限环境中的优势将变得更加明显。在这些场景中，Python等高级语言可能过于笨重，而C/C++则存在安全隐患。 ## 对开发者的启示 这种专业化趋势对开发者意味着什么？ ### 1. 多语言技能组合的价值提升 掌握多种不同层次的编程语言将变得更加有价值。理想的技能组合可能包括一种高级脚本语言（如Python）、一种系统语言（如Rust）和一种特定领域语言（如SQL或CUDA）。 ### 2. 理解全栈优化变得重要 随着AI驱动的性能优化变得关键，理解从高层应用到底层硬件的全栈优化将成为宝贵技能。能够识别何时需要深入底层，何时可以依赖高级抽象，将是区分一般开发者和优秀开发者的关键。 ### 3. 专注于解决问题，而非语言之争 在这种环境下，"最好的编程语言"这一争论变得毫无意义。真正的问题是：对于特定任务，哪种工具组合最为有效？开发者应该超越语言部落主义，专注于解决实际问题。 ## 未来展望 如果这种专业化趋势成为现实，我们可能会看到： 1. **"全栈优化"成为新常态** - 从高层模型设计到底层汇编优化的无缝衔接 2. **编程教育的改变** - 入门可能变得更简单（借助AI辅助工具），但精通将需要更深的技术栈理解 3. **AI作为语言桥梁** - AI辅助工具可能成为不同语言间的翻译器和优化器 ## 结语 AI并非简单地强化"赢家通吃"的马太效应，而是推动编程语言生态向更精细的专业化方向发展。这种专业化不是分裂，而是一种健康的分工协作。正如生物多样性对生态系统健康至关重要一样，编程语言的多样性也是技术创新和进步的基础。 在这个AI驱动的新时代，编程语言不会走向单一，而是会形成更加清晰的分工协作关系。对于开发者而言，重要的不是孤立地精通某一种语言，而是理解整个技术生态系统，并能够选择和组合最适合特定问题的工具。 AI不会终结编程语言的多样性，而会让这种多样性更有意义、更有价值。这才是技术进化的真正方向。

欢迎收听 Rust 视界，本期给大家带来 《Rust 语言与 AI 生态概要》 Rust 在 AI/ML 领域的定位和优势 * Rust 是一种底层编程语言，注重性能、可靠性和生产力。它被认为在 AI/ML Ops 领域是一个“游戏规则改变者”（game-changer）。 * 与 Python 等依赖垃圾回收的语言不同，Rust 的所有权模型（ownership model）确保了内存安全，同时避免了垃圾回收带来的性能开销。这对于处理大规模数据集和需要高效内存使用的 ML Ops 至关重要。 * Rust 提供接近 C/C++ 的性能，使其非常适合计算密集型任务，例如处理大规模数据集、训练深度学习模型和运行实时推理管道。在 ML Ops 工作流中，Rust 可以显著减少延迟并提高吞吐量。 * Rust 内置的并发和并行支持（如 tokio 用于异步编程）确保了安全高效的并行处理。这有助于处理现代 AI 系统中高度并行的工作负载，例如同时运行多个训练实验或管理实时数据流进行推理。对于 CPU 密集型 AI 任务，Rayon 等库可以帮助将代码分布到 CPU 核心的线程上。 * Rust 具有跨平台兼容性，可以编译到各种平台，使其适合在云、本地或边缘环境中部署 ML Ops 管道。 * Rust 可以编译成独立的二进制文件，这使得应用程序的分发和远程部署更加便捷且不易出错。对于基于 AI 的终端用户批量市场应用，这一点比 Python 等解释型语言更有优势，因为 Python 很难直接交付一个可以在任何系统上运行的二进制文件。 * 在某些情况下，使用 Rust 进行推理（运行模型）比 Python 更节省内存，因为可以避免数 GB 的 Python 依赖。模型权重本质上是一堆数字，推理不一定需要 Python。 与 Python 和 C++ 的对比 * Python：AI 领域的大部分库都在 Python 中，这是 Python 目前的主要优势。 许多 AI 训练代码只是调用底层的 C/C++ 高性能库的大循环，Python 只是用于调用这些库的“胶水代码”。 Python 的 GIL（Global Interpreter Lock）限制了单个 Python 进程利用多核 CPU 的能力。Rust 没有 GIL。 Python 在处理阻塞数据任务（如从磁盘加载大型模型）时效率不如 Go。 Python 的生态系统非常成熟，尤其是在 AI 领域，但性能较低，内存安全性依赖垃圾回收，并发和并行支持有限。 虽然 Rust 的 AI/ML 库生态系统仍在发展，但 PyO3 和 maturin 等工具使得 Rust 代码可以与基于 Python 的 AI 框架无缝集成。 * C++：AI 领域的底层高性能库（如 TensorFlow, Nvidia 的库）通常是用 C/C++ 编写的。所有 AI 工作都由 C/C++ 完成，其他语言只是封装。 一项性能评估研究显示，C++ 在矩阵乘法方面明显更快。然而，Rust 在归并排序方面表现更优。文件操作方面结果混杂，C++ 在读取小文件时更快，Rust 在写入大文件时有优势。总体而言，Rust 和 C++ 在这些实验中的整体性能相似。 C++ 拥有更长的历史和更广泛的行业应用及成熟的生态系统。 Rust 的内存安全特性可以增强关键系统的安全性和可靠性，这是 C++ 不具备的优势。 对于某些任务，如游戏 modding 或服务器仿真中的复杂操作，一些用户发现 Rust 比 C++ 和 C 更容易处理，尤其是在保证非 unsafe 部分可靠安全方面。 Rust 被一些人认为是“C++ 的重建版本，包含了我们现在已知的所有东西”。 Rust 中的 AI/ML 相关库和工具 来源提到了多个用于 AI/ML/NLP/CV 的 Rust 库： * llm-chain: 用于自然语言处理。Shuttle 的教程使用它构建了一个 CLI 应用来分析 CSV 数据。 * llm-chain-openai: 集成 OpenAI API 的 llm-chain 扩展。 * candle: Hugging Face 开发的极简 ML 框架。它可以用作替代 tch-rs 的选项，用于在 CPU 核心而非 GPU 上生成 embeddings。TheBloke 在其模型文档中也链接了 Candle。被用于 LLM 的推理和生产代码。也被认为是深度学习库。 * burn: 一个有前途的深度学习库，支持不同的后端。它被描述为“下一代深度学习框架，不牺牲灵活性、效率和可移植性”。它完全用 Rust 编写，提供零成本抽象来轻松创建神经网络模块。虽然生态系统不如 Python 完整，但它提供了构建深度学习模型的工具。 * rust-bert: 适用于 NLP 任务的库，提供预训练模型，如文本分类和情感分析。它可以执行生成 sentence embeddings 等步骤，但不支持向量存储和搜索。 * tch-rs: 允许使用 Python 的 PyTorch 库。可以用于直接处理预训练模型，加载模型和生成 embeddings。它也是一个深度学习库。 * tokenizers: 一个用于将句子分解成 token 的库，这是生成 sentence embeddings 的第一步。 * Milvus: 一个用于存储 embeddings 的向量数据库。 * Tantivy: 一个完全用 Rust 编写的、用于存储 embeddings 的向量数据库，速度极快且经过优化。 * openai-api-rs 和 rs-openai: 社区构建的用于与 OpenAI API 交互的库。 * Linfa: 一个通用的机器学习库，灵感来自 scikit-learn。它提供了分类、回归和聚类算法，可以构建端到端的机器学习管道。 * SmartCore: 被宣传为 Rust 中“最先进的机器学习库”。它提供了多种类型的机器学习算法，包括监督学习和无监督学习。 * opencv-rust: Rust 绑定，允许 Rust 程序员使用 OpenCV 计算机视觉库。 * dfdx: 用于 AI 的 Rust 库，可以进行编译时张量形状检查，帮助避免运行时形状错误。 * DataFusion: 一个基于 Rust 的数据处理库，为构建可扩展 AI 管道进行了优化。 * Polars: 一个用 Rust 构建的高性能 DataFrame 库，在许多场景下性能优于 Python 的 Pandas。 * Tract: 一个用于在边缘设备上运行机器学习模型的 Rust 库，支持 ONNX 和 TensorFlow Lite 等框架。 * Kube-RS: Kubernetes 的 Rust 客户端，支持以编程方式管理容器化的 ML 工作流。 * Crossplane: 使用 Rust 支持的基础设施管理功能扩展 Kubernetes。 * langchaingo: 虽然是 Go 库，但来源中提及了它用于 RAG (Retrieval Augmented Generation)，这说明 RAG 是 AI 领域的一个相关概念。 Rust 在 AI/ML 中的应用场景 * 模型推理 (Inference)：运行模型进行实际工作。Candle 库被用于 LLM 的推理和生产代码。Rust 的高性能和编译到 WASM 的能力使其适合推理，尤其是在需要分发独立可执行文件或在浏览器/边缘计算环境运行模型时。 * 数据预处理 (Data Preparation)：在训练开始前对数据进行转换和格式化。Rust 在数据预处理方面表现出色，特别是在多线程和批处理管道中，能够极大地提高效率。一位用户将 Python 中 40 分钟的数据处理过程用 Rust 重写后缩短到 2-3 分钟。 * ML Ops：管理支持 AI/ML 技术的基础设施。Rust 的性能、内存安全和并发性使其非常适合 ML Ops 领域，用于自动化、部署和监控机器学习模型。关键领域包括 AI 管道、模型部署和推理、基础设施自动化。 * 边缘 AI (Edge AI)：在资源受限的设备上部署 AI 模型。Rust 的性能和内存效率使其成为边缘计算的理想选择。Rust 可以编译到 WASM，在浏览器或 WASM "VMs" 中提供模型。 * WebAssembly (WASM)：Rust 可以编译到 WASM，这使得在浏览器中提供模型成为可能。一些项目正在构建 AI WebAssembly 运行时。一项研究比较了 Rust 和 C 编译到 WebAssembly 时的性能。 * 与游戏引擎集成：一些开发者希望在 Rust 编写的 3D 引擎中驱动 AI。Rust 的系统级编程能力使其适合构建底层引擎。 * 构建桌面应用：结合 Tauri 等框架构建桌面应用，并将 Rust 用于后端 ML 任务。 * 科学计算和数值编程：Rust 被认为有望成为科学计算和数值编程的良好选择，介于 C/C++ 和 Python 之间。虽然语法可能略显繁琐（例如需要 clone() 调用）且第三方库不如 Python 和 C++ 丰富，但像 nalgebra 这样的库正在开发中。Rust 的生命周期系统有助于避免在使用矩阵视图时出现的 bug。 采用 Rust 进行 AI/ML 的挑战 * 学习曲线陡峭：Rust 的严格编译器和所有权规则对新手来说可能具有挑战性。许多学习 Rust 的人已经有其他语言的经验。 * 库生态系统不够成熟：尽管发展迅速，但 Rust 在 AI 和 ML 领域的库支持目前仍不如 Python 丰富。 * 与现有系统的集成：大多数现有的 AI 工作流基于 Python 构建，将 Rust 集成进去需要额外的努力。 社区看法与未来展望 * 社区对 Rust 在 AI 领域的潜力持积极态度。许多人认为 Rust 是 AI 的未来。 * Rust 的采用率在增长，包括微软、亚马逊和谷歌等大型科技公司。 * Rust Trends 等出版物持续关注 Rust 在 AI 领域的进展，例如 Hugging Face 的 Candle，以及 Rust 如何与 AI 协同工作，例如 Grok 的 AI 解决方案。 * Rust Trends 中也有关于“使用 Rust 嵌入 AI”的内容。

本集播客介绍了五条Rust语言技术社区的动态，欢迎收听，欢迎关注！