请问HN:有没有人正在将 llama.cpp 用于生产环境?

3作者: HardikVala28 天前原帖
考虑到在商业用途中使用 llama.cpp 的服务器版本,而不是像 vllm 这样更庞大的选项。但我想知道它是否在生产环境中经过了实战检验。
查看原文
Considering the server version of llama.cpp for a commercial use case over bulkier options like vllm. But wondering if it's been battle-tested in production environments.