返回首页
最新
嘿,HN!作者在这里。
我之所以构建这个,是因为部署机器学习模型非常痛苦。Python + pip 依赖 + Docker = 超过 5GB 的镜像。对于边缘/嵌入式/隔离系统,这种方式行不通。
LOOM 直接在 Go 中加载 HuggingFace 的 transformers。无需 Python 运行时。二进制文件约 10MB。
技术亮点:
- 原生 safetensors 解析器
- 纯 Go 的 BPE 分词器(不依赖 transformers 库)
- 完整的 transformer 栈(MHA、GQA、RMSNorm、SwiGLU)
- 跨平台的确定性(MAE < 1e-8)
- 已发布到 PyPI、npm、NuGet
权衡:仅支持 CPU,小模型的速度为 1-3 tok/s。正确性优先,速度其次。
支持 Qwen、Llama、Mistral、SmolLM。可以在所有 Go 可以运行的平台上交叉编译。
演示: [https://youtu.be/86tUjFWow60](https://youtu.be/86tUjFWow60)
接下来我应该添加哪些层类型?目前有:Dense、Conv2D、MHA、RNN、LSTM、LayerNorm、RMSNorm、SwiGLU、Softmax(10 种变体)、Residual。
欢迎提问!
嗨,HN,
我和我的朋友正在建立一个免费的编程学校,完全基于项目、自主学习,并强调我们认为在人工智能时代重要的技能(例如系统设计)。
我们之所以创建这个项目,是因为我们认为应该有一个既便宜得像自学,又几乎和大学一样严格,同时又像编码训练营一样实用的课程。
关于我们的一些背景:我曾是一个五人初创公司的第一位工程师,而我的朋友则是AWS SageMaker中最年轻的SDE II。我们是加州大学伯克利分校的同学,最近一起经历了YC。
坦白说:到目前为止,我们只发布了第一个项目的开头部分。如果你刚开始你的编程之旅,我们非常希望你能试试看。如果你经验丰富,欢迎注册以获取更新。
另外,如果你需要支持或指导,我们会在Discord上待着 :)
可以在这里查看:
[https://vectorschool.ai/](https://vectorschool.ai/)