我一直在致力于 thedaily.fm,基本上是为了“播客化任何内容”。我刚刚添加了一个 Chrome 扩展,可以捕捉任何网页,进行总结,并在你的播客中创建一集。
当我想了解某些内容但没有时间阅读时,我会使用这个工具。我从来不会将其加入书签再回来查看,但在外出时会听一段 60 秒的总结。
返回首页
最新
粘贴你的代码,获得一个AI债务评分(0-100),并因你的错误而受到“吐槽”。118个正则表达式模式,8种编程语言,完全不涉及AI——一切都在客户端运行,你的代码永远不会离开你的浏览器。<p>想知道你能得到什么分数吗?代码库:github.com/adamyasingh-05/roast-my-code<p>应用程序在线地址:<a href="https://easy-link-free.lovable.app" rel="nofollow">https://easy-link-free.lovable.app</a>
目前,获胜的人工智能工具往往是那些拥有最大市场营销预算和炒作的工具,而不是那些实际效果最好的工具。<p>我们希望建立一个市场,卖家必须提供证明,以便买家在付款前能够分辨出差异。我们正在努力为人工智能市场带来证明和质量。<p>我们现在正在构建这个平台。它尚未开放,在进一步推进之前,我们想了解什么因素会促使人们在上面发布信息。<p>如果您销售人工智能工具:在现有市场和目录中,您遇到了什么问题?什么会促使您在一个新平台上发布信息,而什么又会让您选择放弃?<p>在构建过程中,我们制作了两个免费的工具,无需注册。<p>Achboard可以像怀疑的买家一样读取任何人工智能产品的网站。<p>Comparima则将一个产品与其最接近的替代品进行比较,并显示每个产品的价格。<p>这两个工具都可以在achrima.com找到。
嗨,HN,
我们是OpenLake的开发者,这是一个开源的存储引擎,用于将KV缓存卸载到远程磁盘和内存。
一旦我们将数据卸载到本地磁盘,我们意识到瓶颈在于PCIe或网络接口卡(NIC)的带宽。我们想知道在GPU上进行无损压缩是否可行,以实现快速读取和更低的TTFT(传输延迟)。
BF16通常很难压缩(符号/尾数的高熵)。令我们惊讶的是,实际的KV块非常不同。指数字节的熵非常低,几乎没有被填充。我们并不是压缩整个张量,而是仅在GPU上压缩指数流。
我们得到了以下结果:(H100,生产KV快照):
- 1.51倍无损压缩
- 622 GB/s的中位数GPU解码
解压缩速度比400 Gb/s的NIC带宽快约10倍,能够无损地传输数据而不改变质量。
我们将其开源为ExANS,届时将通过我们的vLLM和SGLang连接器在OpenLake v0.8版本中提供。推理引擎无需进行任何更改。
我很好奇其他人今天是如何处理KV传输的。你们是否在使用KV压缩,还是带宽尚未成为瓶颈?
谢谢!
GitHub: [https://github.com/openlake-project/openlake](https://github.com/openlake-project/openlake)
技术博客: [https://theopenlake.com/blog/exans-lossless-gpu-compression-for-bf16-kv-cache](https://theopenlake.com/blog/exans-lossless-gpu-compression-for-bf16-kv-cache)
我构建了一个在线剪贴板,功能强大。<p>或者说,是一个可分享的临时工作区,我可以在这里粘贴文本和文件,设置过期计时器,或配置阅读与销毁。对于真正私密的内容,可以使用端到端加密(E2E),该加密方式在浏览器中对文本进行加密,然后再存储到数据库中(文件不会被加密)。它还提供了一个API,可以用来将其集成到自动化工作流程中。<p>我经常发现自己使用WhatsApp或Slack作为临时剪贴板,与自己(或同事)分享一些数据:配置、笔记、密码,有时还包括文件。这是一种快速且简单的解决方案,虽然能完成任务,但随着时间的推移,我的聊天记录变得杂乱无章,充满了我不再需要的内容。<p>有时我需要从无法使用WhatsApp或Slack的设备访问这些数据。对于这种情况,我依赖于像cl1p.net或pastebin这样的在线剪贴板服务,但总是遇到一些限制,妨碍了我的使用。<p>另一个使用场景是自动化。有时我需要将任意数据提供给自动化工作流程,因此能够快速将其发布到网上并通过API检索是我期待已久的功能。<p>一些功能包括:
- 语法高亮
- Markdown/HTML预览
- 上传最多10个文件(每个最大10MB,总共最大50MB)
- 设置自定义过期时间或配置阅读与销毁
- 用密码保护剪贴板的端到端加密,该密码作为文本的加密密钥(不适用于上传的文件)
- 也支持账户/团队(个性化网址),但上述整个流程在没有账户的情况下也能正常工作。<p>此外,正在开发自托管的开源版本。<p>欢迎反馈!