嗨，HN，
在构建RAG代理时，我注意到大量的令牌预算被格式化开销（HTML标签、JSON结构、空格）浪费掉了。现有的解决方案感觉太笨重（通常需要torch/transformers），因此我编写了这个轻量级、零依赖的库来解决这个问题。
它包括上下文打包、个人身份信息（PII）去标识化和工具输出压缩的策略。基准测试显示，它可以节省约15%的令牌，同时延迟开销微乎其微（<0.5毫秒）。
很高兴回答任何问题！
返回首页
一周热榜
我构建了最快的 React 虚拟化库。其核心部分使用 Rust 编写，并编译为 WebAssembly。
<p>在线演示：<a href="https://warper.tech" rel="nofollow">https://warper.tech</a></p>
支持 1000 万行数据，帧率超过 120 FPS。没有延迟，没有掉帧。
<p>现有的库如 react-window 和 react-virtuoso 在大规模数据处理时遇到了瓶颈。它们依赖于 JavaScript 的二分查找和 O(n) 的扫描来处理可变高度的元素，而 Warper 则有所不同。</p>
<p>该引擎使用了：</p>
- Fenwick 树实现 O(log n) 的可变高度查找
- O(1) 算法处理固定高度的项目
- 在 WASM 和 JS 之间使用零拷贝的类型化数组
- 预分配的内存池，在滚动时实现零垃圾回收
<p>在 M1 MacBook Pro 上进行的基准测试显示，处理 100 万行数据时，Warper 达到了 119 FPS，而 react-virtuoso 降至 58 FPS。在处理 1000 万行数据时，Warper 保持在 118 FPS，而 virtuoso 降至 31 FPS。</p>
<p>它的速度并不是略快，而是根据工作负载快 2-4 倍。</p>
<p>权衡在于包的大小：约 45KB，而 react-window 只有 6KB。如果你需要性能，这个差异是值得的。</p>
<p>通过 GitHub Sponsors 可获取，地址为 github.com/sponsors/itsmeadarsh2008</p>
<p>欢迎提问有关架构的问题。</p>
这是否是因为他们的训练数据中几乎没有包含“氛围编码”这个术语？