问HN：在Jetson/RPi上使用轻量级运行时的本地LLM代理
我想在我的Mac上设计代理流程，并将一个小型的二进制文件发送到Jetson/RPi。大型语言模型（LLMs）在设备上运行（不使用云端）。如果你尝试过这个，最先遇到的限制是什么？欢迎推荐你喜欢的工具或相关的文章。
查看原文
I'd like to design agent flows on my Mac and ship a single tiny binary to Jetson/RPi. LLMs run on-device (no cloud). If you've tried this, what constraint hit first? Pointers to tools or write-ups you liked are welcome.