展示HN:Prompt-refiner – 轻量级优化LLM输入和RAG2 分•作者: xinghaohuang•大约 2 个月前•原帖嗨,HN, 在构建RAG代理时,我注意到大量的令牌预算被格式化开销(HTML标签、JSON结构、空格)浪费掉了。现有的解决方案感觉太笨重(通常需要torch/transformers),因此我编写了这个轻量级、零依赖的库来解决这个问题。 它包括上下文打包、个人身份信息(PII)去标识化和工具输出压缩的策略。基准测试显示,它可以节省约15%的令牌,同时延迟开销微乎其微(<0.5毫秒)。 很高兴回答任何问题!