返回首页
最新
传统数据库依赖于RAG和基于SQL的转换/分析，但它们能否保持逐行的上下文理解？
我们已将Agents作为Datatune的一部分发布：
[https://github.com/vitalops/datatune](https://github.com/vitalops/datatune)
在一个提示中，您可以定义多个数据转换任务，Datatune会在逐行的基础上对您的数据进行转换，并保持上下文理解。
示例提示：
“从产品描述和名称中提取类别。仅保留电子产品。添加一列名为ProfitMargin = (总利润 / 收入) * 100”
Datatune会解析该提示，并使用OpenAI、Azure、Ollama或其他LLM通过LiteLLM对您的数据应用正确的操作（映射、过滤或LLM驱动的代理管道）。
主要特点：
- 使用自然语言进行逐行的map()和filter()操作
- 代理接口用于自动生成多步骤转换
- 内置对Dask DataFrames的支持（以实现可扩展性）
- 支持多种LLM后端（OpenAI、Azure、Ollama等）
- 与LiteLLM兼容，以实现跨供应商的灵活性
- 自动令牌批处理、元数据跟踪和智能管道组合
令牌与成本优化：
- Datatune让您明确控制发送到LLM的列，从而减少令牌使用和API成本：
- 使用input_fields仅发送相关列
- 自动处理内部批处理和元数据
- 支持设置每分钟令牌和每分钟请求的限制
- 如果未指定，默认为已知模型限制（例如，GPT-3.5）
这使得在大型数据集上运行基于LLM的转换成为可能，而不会产生过高的成本。
实验：我给我的人工智能一个域名（synthpaper.com），并要求它设计一个商业项目。
我只执行它给我的步骤。
结果：SynthPaper——为忙碌的专业人士提供简短、易于浏览的研究报告。
第一期的主题是“2025年的人工智能工具”（共13页）。内容涵盖：
• 基础模型
• 生产力助手
• 内容创作
• 开发者与基础设施
• 运营与自动化
• 以及F.I.T.框架（聚焦、整合、总成本）
我会在第一条评论中分享链接。