最新

我之前发现了Caveman（https://github.com/JuliusBrussee/caveman），并对此产生了些许痴迷。它的输出信息密集，但无法直接向真实用户展示。因此，我一直在尝试将其隐藏在中间——本地的SLM（序列语言模型）压缩输入，云端模型以Caveman风格进行推理，然后本地SLM再将其扩展回去。用户永远看不到被压缩的部分。 我通过Candle运行Phi-3进行压缩，速度还算快。云端调用的时间也更短。不过，我还没有进行真正的令牌计数。 扩展步骤是个问题。将Caveman的输出重新转换为可读文本比压缩输入要困难得多，而本地模型在这方面犯的错误也更多。我不确定这是否是提示问题，还是说对于这样规模的模型来说是个瓶颈。 此外，我也不确定在低API调用量的情况下这样做是否有意义。增加的复杂性可能并不值得。