返回首页
最新
根据您的经验,在作为助手回答软件工程/软件系统相关问题以及进行长时间复杂推理方面,OpenAI的模型和Gemini 2.5 Pro这两者中哪个更好?我在考虑是否有必要为ChatGPT付费,还是使用Gemini 2.5 Pro的免费版本或付费版本更合适。我感觉大多数Hacker News的用户更倾向于后者,但在livebench中,我认为OpenAI在编码方面超过了Gemini。
目前有很多人工智能项目,它们之间有很多重叠,价格各异,而且每天都有新的项目发布。我想,随着时间的推移,选择会变得更加复杂。有没有一个地方可以找到更新的信息聊天机器人?这似乎是一个应该存在的东西。
嗨,HN,我一直在开发 CocoIndex,这是一个开源的数据 ETL 框架,旨在为 AI 转换数据,并优化数据的新鲜度。
您可以通过 `pip install cocoindex` 开始一个 CocoIndex 项目,并声明一个数据流,像搭 LEGO 一样构建 ETL——为向量嵌入、知识图谱构建 RAG 管道,或使用 LLM 提取和转换数据。这是一个超越文本的数据处理框架。当您以实时模式或批处理模式运行数据流时,它将以增量方式处理数据,最小化重新计算,并在源数据发生变化时快速更新目标存储。
入门视频:<a href="https://www.youtube.com/watch?v=gv5R8nOXsWU" rel="nofollow">https://www.youtube.com/watch?v=gv5R8nOXsWU</a>
演示视频:<a href="https://www.youtube.com/watch?v=ZnmyoHslBSc" rel="nofollow">https://www.youtube.com/watch?v=ZnmyoHslBSc</a>
之前,我在谷歌工作了 8 年,参与了搜索索引和 ETL 基础设施等项目。去年离开谷歌后,我构建了各种项目,并经历了许多转型的挑战。在我构建的所有项目中,数据始终是问题的核心,我发现自己专注于构建数据基础设施,而不是我所需的数据转换业务逻辑。目前的预打包 RAG 服务无法满足我的需求,因为我需要为上下文选择不同的策略,同时还需要去重、聚类(项目之间相关)和其他常见的自定义功能。这就是 CocoIndex 的起点。
其背后有一个简单的理念——数据转换类似于电子表格中的公式。真相的基础在于源数据,所有的转换步骤和最终目标存储都是派生数据,应该基于源数据的变化而具有反应性。如果您使用 CocoIndex,您只需关注定义转换,就像定义公式一样。
*数据流范式* 是一个直接的选择——因为没有副作用,数据的血缘和可观察性都是开箱即用的。
*增量处理*——如果您是数据专家,可以将其类比为超越 SQL 的物化视图。该框架在数据库中跟踪管道状态,仅重新处理必要的部分。当数据发生变化时,框架全面处理变更数据捕获,并结合推送和拉取机制。然后清除过时的派生数据/版本,并根据跟踪数据/逻辑变化或数据 TTL 设置重新索引数据。处理这些边缘情况有很多细节,例如,当某一行在其他地方被引用且该行发生变化时,这些都应在框架层面进行处理。
*在计算引擎层面*——框架应考虑多个进程和并发更新。它还应考虑如何从终止的执行中恢复现有状态。最终,我们希望构建一个易于构建、具有卓越速度,但在生产中可扩展且稳健的框架。
*在整个数据流中标准化接口*——非常容易像 LEGO 一样插入自定义逻辑;并且具有多种内置组件。例如,仅需几行代码即可在 Qdrant、Postgres 和 Neo4j 之间切换。
CocoIndex 采用 Apache 2.0 许可证 <a href="https://github.com/cocoindex-io/cocoindex">https://github.com/cocoindex-io/cocoindex</a>
入门指南:<a href="https://cocoindex.io/docs/getting_started/quickstart" rel="nofollow">https://cocoindex.io/docs/getting_started/quickstart</a>
期待听到您的想法,非常感谢!
Linghua
Beta版本将在几周内推出 — 希望能收到关于目前方向的反馈。
网站: <a href="https://www.pagepalapp.com" rel="nofollow">https://www.pagepalapp.com</a>
演示: <a href="https://www.pagepalapp.com/#demo" rel="nofollow">https://www.pagepalapp.com/#demo</a>
加入Beta测试: <a href="https://www.pagepalapp.com/#subscribe" rel="nofollow">https://www.pagepalapp.com/#subscribe</a>