最新

我一直在思考人类可能因为使用人工智能而失去重要技能的问题，同时也在想我们如何才能更好地获取和保持这些技能。 我们能否将学习未来重要技能的过程游戏化？更加深入地研究如何提高学习技能（必要时可以使用人工智能）。并将这些知识传播给更多的人。 人类需要在应对人工智能时保持最佳状态，以避免技能和信任的下降。

一个新的（希望能带来乐趣的）工具，用于提高乐谱视读速度，作为我其他音乐理论工具的补充。

我在本地使用 llama.cpp 运行 Qwen3.6-35B-A3B 时，注意到在 MTP 下提示处理的吞吐量变得非常低。我被这个问题深深吸引。 最开始的好奇心变成了为期两周的实验探索，最终得到了一个能够在 GPU 上完全恢复 MTP PP 开销的概念验证，超出了我所有的预期。 简而言之：这个概念验证并不是对整个批次的最后一层 MoE FFN（通常是 512-2048 个标记）进行处理，而是仅处理输出行（通常在预填充时为 1 个标记）。结果是，PP TPS 恢复到了与禁用 MTP 时相同的水平，同时保留了 MTP 对 TG TPS 的大部分好处，尽管在某些基准测试中草稿接受率略有下降。 我不会向 llama.cpp 提交 PR，因为这是 AI 生成的代码，这违反了他们的贡献政策，我对此表示支持。如果你了解 C++ 和 llama.cpp 的内部结构，我邀请你与我合作，提交一个更成熟的实现的 PR。