跳到正文
钛媒体·· 16 天前AI 评分56

大模型一体机市场转向轻量化,主流设备承载模型参数量下调

大模型一体机,开始缩水了

AI 导读

大模型一体机市场在需求变化和模型演进下转向轻量化,多数中端设备最多运行70B级模型,满血高端机型仍面向特定场景。文章称,知识库问答、公文写作等需求可由蒸馏小模型满足,而复杂生产任务和数据本地化需求仍支撑高端设备;硬件涨价也推高了满血方案的成本。

来源:钛媒体 · tmtpost.com