最新

高互惠的共享版权许可证。

嗨，HN - 我是亚历克斯，目前在Progress担任代理开发工具的负责人。在此之前，我是一个名为SessionStack的会话重放初创公司的联合创始人兼首席执行官，该公司在今年八月被收购。 自那时起，我一直深入研究大型语言模型（LLM）和代理开发工具，观察能力（observability）是我关注的主要领域。 最近，我在LinkedIn上进行了一项小调查，了解团队在LLM驱动的应用程序/代理的观察能力方面的进展。结果如下： - 20% 从第一天起就开始实施LLM观察能力 - 30% 计划稍后实施 - 20% 正在构建内部解决方案 - 30% 仍在学习这一领域 其中20%正在构建内部解决方案让我感到最有趣，因此我与一些早期阶段的YC创始人和更成熟的组织进行了跟进。我听到的主要驱动因素有： 1) 本地/自托管模型 一些团队认为本地/混合LLM堆栈没有可行的观察能力选项，因此DIY（自助式）似乎是默认选择。实际上，有一些方法可以做到这一点，但目前很容易被忽视。 2) 成本不确定性 早期很难估算令牌使用量，因此定价显得不可预测。一个最小的内部层看起来比意外账单更安全。 3) 控制和速度 自助式基础追踪/日志记录非常简单，并且在团队快速迭代核心产品时提供了完全的所有权。 这让我想起了早期的应用性能管理（APM）/产品分析。许多团队开始时都说“我们只需实现自己的日志记录。”这在一开始是完全合理的——但一旦使用量和复杂性增加，这种日志记录往往悄然变成了： - 一个需要维护的内部平台 - 一系列待开发的功能 - 不断增长的边缘案例调试面 ……常常成为核心业务的真正干扰。 我们的预测是LLM/代理观察能力将遵循相同的路径：团队从DIY日志记录开始，然后意识到这正在成为一个副产品，最终大多数团队会早期采用标准平台。我们也看到APM/分析供应商扩展到LLM流程，这进一步加强了这一方向。 我们正在构建的内容 我和我的团队正在开发专注于使用情况、成本/定价、评估和调试的LLM/代理观察能力。我们与之交谈的大多数团队仍然没有任何相关的设置，即使LLM是产品的核心部分，因此我们正在努力使“第一天”的设置变得实用。 我们是一个更大组织的一部分，但这个团队像一个初创公司一样运作：小团队、快速周期、重视用户交流，并根据实际使用情况迅速交付。这种设置是我们进行早期访问并与团队紧密迭代的原因。 这里是早期预览/笔记： [链接](https://aback-handbell-1cd.notion.site/Progress-Observability-Platform-2b081d53bbc680fa9f98e7ece233b756) 我们计划支持自托管选项。 如果这与您正在构建的内容相关，并且您希望帮助我们塑造所需的LLM观察能力，我们有一个免费的早期访问计划： [链接](https://www.telerik.com/agent-observability-early-access)