最新

看起来是这样——控制台中有大量后端错误。

我们使用了PrismML最近发布的Bonsai 1.7B三元模型（<a href="https:&#x2F;&#x2F;github.com&#x2F;PrismML-Eng&#x2F;Bonsai-demo" rel="nofollow">https:&#x2F;&#x2F;github.com&#x2F;PrismML-Eng&#x2F;Bonsai-demo</a>），对其进行了6小时的自主进化搜索，以优化Metal内核。该搜索过程完全自动化。 与未修改的上游版本 llama.cpp（在相同的Bonsai/Q2_0提交和相同的M4 Max配置下）相比，优化结果如下： - tg128: 309.82 → 442.42 t/s (+42.0%) - pp512: 4250.32 → 4622.63 t/s (+8.8%)