2作者: v_kyba大约 8 小时前原帖
嗨,HN, 我们是来自乌克兰的Volodymyr和Volodymyr——两个开发者,正在构建WhiteLightning。这是一个工具,可以将大型语言模型(如Claude 4、Grok 4、通过OpenRouter的GPT-4o)转化为*微型ONNX文本分类器*,可以在任何地方运行——甚至是在边缘的无人机上。 我们之所以开发这个工具,是因为许多开发者需要定制模型:垃圾邮件过滤、情感分析、个人信息识别或内容审核工具,但又不想处理频繁的API调用或在生产环境中部署大型模型。 WhiteLightning利用大型语言模型生成训练数据,并训练*KB级别的学生模型*,这些模型可以在任何语言的边缘设备上运行。您只需用一句话描述任务,获取ONNX模型,然后在Python、JS、Rust、Java、Swift、C++等环境中本地运行。 主要特点: * 一行训练提示 * 支持多种运行时的ONNX导出 * 模型大小以千字节为单位 * 无需TensorFlow或PyTorch * 支持多语言分类 通过Docker(Linux/macOS)立即试用: ```bash docker run --rm \ -v "$(pwd)":/app/models \ -e OPEN_ROUTER_API_KEY="YOUR_OPEN_ROUTER_KEY" \ ghcr.io/inoxoft/whitelightning:latest \ python -m text_classifier.agent \ -p "将客户评论分类为积极、中性或消极" ``` 我们也支持Windows,通过PowerShell(此处未显示),具有相同的功能——只需相应更改命令样式。 您可以在浏览器中立即试用: [https://whitelightning.ai/playground.html](https://whitelightning.ai/playground.html) 使用案例: * 个人信息识别(“包含个人信息吗?”) * 垃圾邮件分类 * 有毒内容与安全内容的审核 * 支持票务紧急程度:高/中/低 * 意图识别:预订/支持/信息 与众不同之处在于,它结合了大型语言模型驱动的训练与边缘设备的性能,无需部署巨型模型或高昂的API使用费用。 * 代码和文档:[https://github.com/whitelightning-ai/whitelightning](https://github.com/whitelightning-ai/whitelightning) * 社区模型库:[https://github.com/your-username/whitelightning-model-library](https://github.com/your-username/whitelightning-model-library) 我们非常希望听到您的反馈——哪些有效,哪些无效,以及如何改进。谢谢!