8作者: hotk大约 2 个月前原帖
为流式AI工具调用构建了这个。大型语言模型(LLMs)以逐字符的方式将函数参数作为JSON流式传输。大多数解析器每次都从头开始重新解析,这导致O(n²)的性能表现,造成用户界面的延迟。 这个工具维护了解析状态,仅处理新字符。实现了真正的O(n)性能,在整个响应过程中保持不可察觉。 这是一个Ruby gem,采用MIT许可证。欢迎反馈。