跳到正文

技术方向

微调与部署 最新动态

把模型训好、跑起来、跑得便宜:LLaMA-Factory、Unsloth、Axolotl、TRL、PEFT 的微调方法,DeepSpeed 的训练与并行,vLLM、SGLang、llama.cpp、Ollama、TensorRT-LLM、LMDeploy 的推理与部署,以及量化、显存与成本优化。

123 条精选近 30 天 106 条共收录 565 条

更新

精选归档 · 第 7 页

7月29日周三第 121–123 条
  1. Berkeley AI Research62

    从 CUDA 到 MLX:K-Search 如何把内核优化经验带到 Apple Silicon

    Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX,通过结构化 CUDA-to-MLX 翻译层把已有 CUDA 内核经验迁移到 Apple Silicon。

    推荐理由:展示了把 CUDA 内核优化经验结构化迁移到 Apple Silicon 的方法,并给出注意力与 Mamba 两类内核的实测对比。

7月22日周三
  1. JetBrains AI Blog62

    JetBrains Air 更新:接入更多智能体、本地模型与 Java/Kotlin 代码智能

    JetBrains Air 新版本通过 JetBrains 与 Zed 开发的 Agent Client Protocol(ACP)接入 GitHub Copilot、OpenCode、Pi、Cline 等兼容智能体,此前该工作流仅限 Air 自带的 Claude、Codex、Gemini CLI 和 Junie。

    推荐理由:Air 通过 ACP 接入多家编码智能体并支持本地模型,读者可据此判断企业既有工具能否纳入同一工作流。

7月21日周二
  1. JetBrains AI Blog71

    JetBrains 发布 JetBrains Context,为编码智能体提供仓库智能层

    JetBrains 发布 JetBrains Context,一个为编码智能体构建语义索引并提供语义检索的仓库智能层,已随 JetBrains AI 订阅开放早期访问且不额外收费。

    推荐理由:官方给出 JetBrains Context 的索引机制、接入方式与三项基准上的耗时成本降幅,可据此判断编码智能体的上下文方案。