2作者: vira283 个月前原帖
我正在咨询的一些早期到中期的初创公司都在问同一个问题:他们的人工智能/机器学习团队想要生产环境中的Postgres数据,但没有人确切知道该如何提供这些数据。 我之前为商业智能团队处理过类似的情况——使用读取副本,并设置较高的`max_standby_streaming_delay`和开启`hot_standby_feedback`,偶尔在主库上接受一些膨胀。这种方法效果不错。但对于人工智能/机器学习的需求,我感觉有些不同,虽然我还无法完全表述清楚,这也是我提出这个问题的原因之一。 我正在尝试调整几个方面: 1. 代理实际连接到哪里?是主库(带有行级安全性),读取副本,数据仓库(如Snowflake、BigQuery、Redshift),湖仓(如Iceberg、Delta在S3上),还是其他地方? 2. 如果你们<em>不</em>这样做——是出于合规性、成本担忧、糟糕的经历(如查询失控、提示中的个人身份信息)还是其他原因? 3. 我最感兴趣的是:这是否真的与给商业智能工具数据库访问权限的感觉不同,还是同样的问题换了个说法? 我并不寻求产品推荐,而是想从那些真正面临过这个挑战的人那里获得真实的见解。
1作者: wolttam3 个月前原帖
我花了很多时间将 `lmcli` 打造成我在处理大型语言模型(LLM)时的首选工具,包括编程!<p>这个工具是用 Go 语言编写的,具有快速的性能和精简的代码库。<p>我希望有一个工具,不会在我和模型之间增加复杂的抽象层,我认为 `lmcli` 在这方面做得很好。随着使用案例逐渐显现出对 LLM 使用的“基础性”,我们逐步添加了对更多用例的支持,例如代理工具调用循环。<p>`lmcli` 并没有内置代理——代理是通过系统提示和可用工具的集合进行配置的。README 仅提供了一个如何使用 `lmcli` 构建编程代理的示例(这个代理的表现相当不错!)<p>v0.5.0 版本增加了图像支持。是的,支持在文本用户界面(TUI)中将图像附加到对话中!而且使用起来并不糟糕?<p>它并不完美,但我认为它足够好,可以让其他人觉得有用。<p>希望你喜欢。