传统数据库依赖于RAG和基于SQL的转换/分析,但它们能否保持逐行的上下文理解?
我们已将Agents作为Datatune的一部分发布:
[https://github.com/vitalops/datatune](https://github.com/vitalops/datatune)
在一个提示中,您可以定义多个数据转换任务,Datatune会在逐行的基础上对您的数据进行转换,并保持上下文理解。
示例提示:
“从产品描述和名称中提取类别。仅保留电子产品。添加一列名为ProfitMargin = (总利润 / 收入) * 100”
Datatune会解析该提示,并使用OpenAI、Azure、Ollama或其他LLM通过LiteLLM对您的数据应用正确的操作(映射、过滤或LLM驱动的代理管道)。
主要特点:
- 使用自然语言进行逐行的map()和filter()操作
- 代理接口用于自动生成多步骤转换
- 内置对Dask DataFrames的支持(以实现可扩展性)
- 支持多种LLM后端(OpenAI、Azure、Ollama等)
- 与LiteLLM兼容,以实现跨供应商的灵活性
- 自动令牌批处理、元数据跟踪和智能管道组合
令牌与成本优化:
- Datatune让您明确控制发送到LLM的列,从而减少令牌使用和API成本:
- 使用input_fields仅发送相关列
- 自动处理内部批处理和元数据
- 支持设置每分钟令牌和每分钟请求的限制
- 如果未指定,默认为已知模型限制(例如,GPT-3.5)
这使得在大型数据集上运行基于LLM的转换成为可能,而不会产生过高的成本。
返回首页
最新
实验:我给我的人工智能一个域名(synthpaper.com),并要求它设计一个商业项目。
我只执行它给我的步骤。
结果:SynthPaper——为忙碌的专业人士提供简短、易于浏览的研究报告。
第一期的主题是“2025年的人工智能工具”(共13页)。内容涵盖:
• 基础模型
• 生产力助手
• 内容创作
• 开发者与基础设施
• 运营与自动化
• 以及F.I.T.框架(聚焦、整合、总成本)
我会在第一条评论中分享链接。