我觉得在大型语言模型(LLM)运行时使用Linux PSI(压力滞留信息)来优化键值缓存是个有趣的想法。对此我认为这主要对像Jetson Orin超级纳米套件这样的边缘设备有用,因为它们具有统一内存。我还没有进行太多基准测试,但计划随着时间的推移进行更多测试,看看在本地运行LLM时是否能真正利用这个功能。如果这听起来有道理,请告诉我 :P(当然,这个想法是我自己想到的)
返回首页
最新
Sasso 是一个纯 Rust 编写的 SCSS 到 CSS 编译器(是 dart-sass 的替代品)。<p>零依赖,支持 WebAssembly,包含库和命令行工具。
将您的 .mpa 文件转换为动画视频。
我是《龙腾世纪》的忠实粉丝,花了数百小时在《审判》中。游戏里有一个叫做“星图”的迷你游戏,你需要根据星座指南,通过描绘星星来解决这些形状。我是一名业余游戏开发者,想知道是否可以程序生成这些谜题,使其始终可解。结果发现是可以的,于是我围绕这个概念制作了一个太空谜题游戏,拥有丰富多彩的美术风格。我已经在这里以网页形式发布了它,但目前正在努力将其上线Steam和移动平台。