跳到正文
IT之家·· 12 天前AI 评分55

微软计划于本月底前为 GitHub Copilot 支持本地模型推理

GitHub Copilot 不再纯云端 AI 模型:Surface Laptop Ultra 本地推理吞吐量最高每秒 63 词元

AI 导读

微软宣布计划在本月底前为 GitHub Copilot 增加本地 AI 模型推理,开发者可在云端与设备端模型间自动编排或手动切换。MAI Code 1.1 Flash 总参数为 1370 亿、活跃参数为 68 亿;IT之家称其在 Surface Laptop Ultra 上的解码吞吐量,在提示长度为 2K 至 256K Token 时为每秒 40 至 63 个词元。

来源:IT之家 · ithome.com