返回首页
最新
成功的企业家总是说,最有价值的工具是那些能够帮助你解决所面临问题的工具。问题是,我似乎没有遇到什么问题。因此,我构建了一个最简化的创意目录,专注于他人所面临的问题。欢迎反馈。
我花了上周的时间在一个RAG管道中追踪一个“幽灵”,我认为我发现了一个行业普遍忽视的问题。
我们假设如果生成一个嵌入并存储它,那么“记忆”是稳定的。但我发现,f32距离计算(FAISS、Chroma等的核心)实际上充当了一个“分叉路径”。
如果你在一台x86服务器(AVX-512)和一台ARM MacBook(NEON)上运行完全相同的插入序列,内存状态在比特级别上会出现分歧。这不仅仅是“浮点噪声”,而是由于FMA(融合乘加)指令差异导致的确定性漂移。
我写了一个脚本来检查我的M3 Max和Xeon实例之间句子变换器向量的原始比特。语义相似度为0.9999,但原始存储却不同。
对于一个受监管的AI代理(金融/医疗),这简直是噩梦。这意味着你的审计轨迹在技术上是虚幻的,具体取决于哪个服务器处理了查询。你无法实现“写一次,随处运行”的索引可移植性。
解决方案(采用no_std)我感到非常沮丧,因此绕过了标准库,使用Rust编写了一个自定义内核(Valori),采用Q16.16定点算术。通过严格执行整数结合律,我在x86、ARM和WASM之间获得了100%比特相同的快照。
召回损失:可以忽略(99.8% Recall@10与标准f32相比)。
性能:延迟小于500µs(可与未优化的f32相比)。
请求/论文我已经写了一篇正式的预印本,分析这个“分叉路径”问题和Q16.16的证明。我目前正在尝试将其提交到arXiv(分布式计算/cs.DC),但我被卡在了推荐队列中。
如果你想拆解我的Rust代码: https://github.com/varshith-Git/Valori-Kernel
如果你是cs.DC(或cs.DB)的arXiv推荐人,并想查看草稿,我很乐意把它发给你。
难道只有我一个人担心在如此不稳定的数值基础上构建“可靠”的代理吗?
我注意到一个趋势,这里的版主倾向于优先考虑左翼故事,比如《60分钟》节目被延迟,而屏蔽来自右翼的报道。Reddit上也存在类似的问题。这是一个正确的观察吗?我们有什么办法可以验证这一点吗?
嗨,HN!<p>我创建了Openinary,因为Cloudinary和Uploadcare会锁定你的图片,并按请求收费。<p>Openinary让你可以自托管完整的图像处理流程:在你的基础设施上转换、优化和缓存图像;支持S3、Cloudflare R2或任何兼容S3的存储。<p>这是唯一一个自托管的类似Cloudinary的工具,能够通过简单的URL API同时处理转换和交付(/t/w_800,h_800,f_avif/sample.jpg)。<p>该工具使用Node.js构建,支持Docker。<p>GitHub: <a href="https://github.com/openinary/openinary" rel="nofollow">https://github.com/openinary/openinary</a><p>欢迎反馈,特别是来自希望在自己基础设施上实现相同用户体验的Cloudinary用户!