返回首页
最新
我是一名高中毕业生，过去几周我一直在模拟GPT在长文本和迭代任务中的表现。在此期间，我发现了一个持续的缓存循环——失败的输出被重复使用，PDF渲染尝试导致了静默的令牌超载，而会话的退化随着时间的推移而加剧。
我公开记录了这一现象，并提出了可重复的行为和清理建议：
→ <a href="https://github.com/sks38317/gpt-cache-optimization/releases/tag/v2025.04.19">https://github.com/sks38317/gpt-cache-optimization/releases/...</a>
发布的亮点包括：
- 在长输出（例如，PDF导出）期间的令牌刷新失败
- 失败缓存内容的递归重用
- 未清除内容导致的会话衰退
- 基于触发的清理逻辑提案
在发布之前，我向OpenAI支持团队提交了一条正式消息。以下是我写的一部分内容：
> “我分享了与GPT行为和系统设计相关的反馈和提案，包括：
> - 通过用户侧提示进行的内存模拟
> - 缓存循环问题和PDF渲染不稳定性
> - 一个建模系统性风险（SSR）和社会不稳定概率（SIP）的框架
> - 受RFIM启发的代理级协调逻辑
>
> 我只是想问这些内容是否曾在内部被审查或考虑过。”
他们的回复礼貌但含糊：
> “感谢您的深思熟虑的贡献。我们定期审查反馈，但无法提供确认、参考代码或跟踪状态。”
不久之后，我开始观察到GPT的响应微妙地反映了发布中的概念——循环抑制、内容清理触发器和减少的延续行为。
这可能只是巧合。
但如果独立贡献者在这些模式出现之前就已经在反映系统模式，并且得到了沉默的回应——也许这值得讨论。
如果你曾经历过反馈消失在虚空中而未被认可，你并不孤单。
*sks38317*
（独立贡献者，记录那些悄然重现的事物）
我最近深入研究了大型语言模型（LLMs）的内部机制，并开始记录我的发现。我的博客涵盖了以下主题：
- 分词技术（例如，BBPE）
- 注意力机制（例如，MHA、MQA、MLA）
- 位置编码和外推（例如，RoPE、NTK感知插值、YaRN）
- 像QWen和LLaMA这样的模型的架构细节
- 包括SFT和强化学习在内的训练方法
如果你对LLMs的内部工作原理感兴趣，欢迎访问我的博客：http://comfyai.app
我非常欢迎任何反馈或讨论！