最新

大家好，我是伊戈尔，Inworld Runtime 的工程师之一，我们今天在公开预览中发布了这个产品。 我们构建这个工具是为了应对我们和客户普遍面临的问题：工程师在 AI 运维和基础设施上的时间往往超过了实际功能开发的时间。这通常是由于使用 Python 处理 I/O 密集型、高并发工作负载的挑战，以及维护使用不断变化的机器学习模型的管道的复杂性。 我们的解决方案是一个高性能的运行时，使用 C++ 编写，核心理念是将 AI 逻辑定义为图形。例如，一个基本的语音到语音代理由 STT（语音转文本）→ LLM（大语言模型）→ TTS（文本转语音）节点组成，而连接的边则用于流数据和强制条件。这个图形引擎是可移植的（支持 Linux、Windows、macOS），并且可以在设备上运行。 在这个 C++ 核心之上，我们构建了一些关键功能： - 扩展。运行时架构将图形定义与实现解耦。如果不存在预构建的组件，您可以注册自己的自定义节点/代码，并在任何图形中重用，而无需编写任何粘合代码。 - 路由器。您可以根据流量动态选择每个节点的模型/设置，并配置回退和重试的策略，以使应用程序准备好投入生产。 - 门户。一个基于网页的控制面板 UI，用于部署图形、即时推送配置更改、在实时流量上进行 A/B 测试，并通过日志、跟踪和指标监控您的应用程序。 - 统一 API。通过单一、一致的接口和一个 API 密钥，使用我们优化的模型或路由到 OpenAI、Anthropic 和 Google 等提供商。 我们现在已经发布了 Node.js SDK，Python、Unity、Unreal 和原生 C++ 的 SDK 也将在不久后推出。我们计划开源这些 SDK，从 Node.js 开始。 文档在这里： [https://docs.inworld.ai/docs/runtime/overview](https://docs.inworld.ai/docs/runtime/overview) 我们期待来自其他工程师和开发者的反馈。您怎么看？