跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。

42 条精选近 30 天 38 条共收录 201 条

更新

精选归档 · 第 3 页

8月20日周四第 41–42 条
  1. Mistral AI71

    Mistral 发布 Agentic Search，面向企业复杂文档的多步检索层

    Mistral 发布 Agentic Search，一个让模型在复杂文档中导航、阅读并核实信息的多步检索层，通过 Mistral Search Toolkit 提供，并内置于 Studio 和 Vibe 的 Libraries 中。

    推荐理由：原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化，可据此判断它与一次性 RAG 的差异。

7月29日周三
  1. Berkeley AI Research62

    从 CUDA 到 MLX：K-Search 如何把数十年内核经验带到 Apple Silicon

    Berkeley AI Research 与 IBM Research 将演化式内核搜索框架 K-Search 扩展到 MLX 后端，并加入结构化 CUDA-to-MLX 翻译层，让已有 CUDA 内核作为知识库适配到 Apple Silicon。

    推荐理由：展示了把 CUDA 内核优化经验结构化迁移到 Apple Silicon 的方法，读者可据此判断跨硬件内核迁移的可行路径。