快科技 10 月 1 日音讯亚洲美图，AMD 发布了我方的首个小言语模子 ( SLM ) ，名为" AMD-135M "。
比拟于越来越遒劲的大言语模子 ( LLM ) ，它体积工整，愈加天真，更有针对性，非凡稳当奥密性、专科性很强的企业部署。
AMD-135 小模子从属于 Llama 家眷，有两个版块：
男同av一是基础型" AMD-Llama-135M "，领有多达 6700 亿个 token，在八块 Instinct MIM250 64GB 加快器上磨练了六天。
二是蔓延型" AMD-Llama-135M-code "，荒谬加多了有利针对编程的 200 亿个 token，相通硬件磨练了四天。
亚洲美图
创建与部署经过
它使用了一种名为"测度解码" ( speculative decoding ) 的智商，通过较小的草稿模子，在单次前向传播中生成多个候选 token，然后发送给更大的、更精准的想法模子，进行考据或改动。
这种智商不错同期生成多个 token，不会影响性能，还不错裁减内存占用，但因为数据来回更多，功耗也会加多。
AMD 还使用 AMD-Llama-135M-code 当作 CodeLlama-7b 的草案模子，测试了测度解码使用与否的性能。
比如在 MI250 加快器上，性能可擢升最多约 2.8 倍，锐龙 AI CPU 上可擢升最多约 3.88 倍，锐龙 AI NPU 上可擢升最多约 2.98 倍。
测度解码
AMD-135M 小模子的磨练代码、数据集等资源皆也曾开源，盲从 Apache 2.0。
按照 AMD 的说法，它的性能与其他开源小模子基本相称或略有当先，比如 Hellaswag、SciQ、ARC-Easy 等任务当先 Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy 等任务则基本肖似 GTP2-124MN、OPT-125M。
亚洲美图