3作者: kushal20486 个月前原帖
大家好, 我想分享一个Okapi的早期预览,它是一个内存中的指标引擎,同时可以与现有的数据湖集成。现代软件系统产生了大量的遥测数据。虽然我们可以讨论这是否必要,但我们都可以同意,这种情况确实发生了。 目前大多数指标引擎使用专有格式来存储数据,并且不采用分离存储和计算的方式。Okapi通过利用开放数据格式并与现有数据湖集成,改变了这一现状。这使得可以使用标准的OLAP工具,如Snowflake、Databricks、DuckDB,甚至是Jupyter/Polars来运行分析工作流(例如异常检测),同时避免了两种方式的供应商锁定——您可以自定义工作流,并拥有可更换的计算引擎。分离存储也减少了维护自有存储的运维负担,计算引擎可以根据需求进行扩展或缩减。 不过,并非所有数据都可以存储在数据湖/对象存储中——这对于近期数据并不适用。为了简化实时查询,Okapi首先将所有指标数据写入内存存储,并从该存储中读取近期数据。指标在到达时会进行汇总,这有助于缓解内存压力。指标在内存中保存一个可配置的保留期,之后会被转移到对象存储/数据湖中(目前仅支持Parquet导出)。这允许对近期数据进行快速读取,同时将老旧数据的查询处理卸载出去。在基准测试中,内存数据的查询在一毫秒内完成,写入吞吐量约为每秒280,000个样本。在实际部署中,由于网络延迟,性能可能会有所不同。 Okapi仍处于早期阶段——欢迎反馈、批评和贡献。谢谢!
7作者: geemus6 个月前原帖
从那些神秘的终端命令到无数种自我伤害的方式,我一直在使用TLS证书方面感到困难。我很喜欢Let’s Encrypt让获取证书变得如此简单(而且便宜),但仍然有很多问题需要解决。 这就是我们构建Relay的原因:一个免费的基于浏览器的工具,它简化了ACME工作流程,特别是对于像家庭实验室这样的复杂设置。Relay充当您的ACME客户端与公共证书颁发机构(如Let’s Encrypt)之间的安全中介。 Relay提供更好体验的一些方式包括: - 使用任何ACME客户端在几分钟内快速、简化地获取证书 - 一次性前置DNS委托,无需到处散布入站流量或DNS凭证 - 清晰了解整个ACME过程及续订提醒 现在就试试Relay吧: [https://anchor.dev/relay](https://anchor.dev/relay) 或者阅读我们的博客文章:[https://anchor.dev/blog/lets-get-your-homelab-https-certified](https://anchor.dev/blog/lets-get-your-homelab-https-certified) 请试试看(只需几分钟),并告诉我您的想法。
24作者: jafioti6 个月前原帖
嗨,HN,我是乔。我的朋友马修、杰克和我正在开发Luminal(<a href="https://luminalai.com">https://luminalai.com</a>),这是一款用于自动生成快速GPU内核的GPU编译器,专为AI模型设计。它采用基于搜索的编译方法,以实现高性能。 我们从高层次的模型代码出发,比如在PyTorch中使用的代码,生成非常快速的GPU代码。我们并不使用大型语言模型(LLMs)或人工智能,而是将其视为一个搜索问题。我们的编译器构建了一个搜索空间,生成数百万个可能的内核,然后在其中进行搜索,以最小化运行时间。 您可以在Mac上尝试`demos/matmul`中的演示,看看Luminal如何将一个简单的操作(在我们的中间表示中由12个简单操作表示)编译为一个优化过的、支持张量核心的Metal内核。这里有一个视频展示了这个过程:<a href="https://youtu.be/P2oNR8zxSAA" rel="nofollow">https://youtu.be/P2oNR8zxSAA</a> 我们的方法与传统的机器学习库显著不同,因为我们提前编译所有内容,生成一个逻辑上等价内核的大搜索空间,并在其中搜索以找到最快的内核。这使我们能够利用“苦涩教训”完全自动地发现复杂的优化,如Flash Attention,而无需手动启发式方法。最好的规则就是没有规则,最好的启发式就是没有启发式,只需搜索所有可能。 我们正在努力将CUDA支持提升到与Metal相当的水平,增加搜索空间的灵活性,添加完整模型示例(如Llama),并增加一些非常特殊的硬件后端。 我们的目标是大幅简化机器学习生态系统,同时提高性能和硬件利用率。请查看我们的代码库:<a href="https://github.com/luminal-ai/luminal" rel="nofollow">https://github.com/luminal-ai/luminal</a>,我很想听听您的想法!
1作者: YuriBychkov6 个月前原帖
地点:美国纽约,纽约州 远程工作:是 愿意搬迁:开放讨论 技术栈:React.js, Next.js, Node.js, Express, TypeScript, JavaScript, Python, Django, Flask, PostgreSQL, MySQL, MongoDB, Firebase, Supabase, Docker, GCP 简历: [https://yuribychkov15.github.io/my-portfolio/YURI%20BYCHKOV%20-%20RESUME.pdf](https://yuribychkov15.github.io/my-portfolio/YURI%20BYCHKOV%20-%20RESUME.pdf) 网站:[https://yuribychkov15.github.io/my-portfolio/](https://yuribychkov15.github.io/my-portfolio/) 电子邮件:yuribychkov15@gmail.com GitHub:[https://github.com/yuribychkov15](https://github.com/yuribychkov15) LinkedIn:[https://www.linkedin.com/in/yuri-bychkov/](https://www.linkedin.com/in/yuri-bychkov/) 你好,我是尤里——波士顿大学计算机科学专业的应届毕业生。我曾担任前端开发者和全栈工程师,为现实世界的客户构建响应式网页应用和自动化系统。我的项目涵盖了数据驱动的音乐分析到全栈校园应用,我渴望加入一个团队,在那里我可以运用我的技术技能并成长为一名软件工程师。
1作者: ieuanking6 个月前原帖
嗨,HN!<p>大型人工智能一直未能满足学生的需求。学习模式和当前的聊天机器人并没有强化或培养批判性思维技能,使信息转化为知识。与ChatGPT或经典聊天机器人不同,我们专注于阅读、笔记和引用,同时你可以使用@[item_name](类似于光标)进行参考、记录和归档。<p>想象一下:谷歌学术 + ChatGPT + AI高亮工具 = Fiig<p>我们目前的用户喜欢Fiig,因为它提供了资源密集型和内容驱动的体验。Fiig让你可以访问庞大的学术资源库,或者你可以整合你上传的文件,进行全面且个性化的研究。快速搜索多个学术数据库中的相关论文和研究。上传并索引你的PDF文档。AI驱动的搜索结果相关性排名。可以按出版日期、作者或期刊进行筛选。<p>我们的独特之处在于:强大的AI注释工具。Fiig可以在任何上传或找到的PDF中逐行高亮。这对于草稿修订、引用收集和资料浏览非常有帮助。在与PDF聊天时,Fiig会根据添加的PDF中的信息进行上下文锁定,从而最大限度地减少幻觉现象,并且随着你做笔记和互动,围绕你需求的上下文意识会显著增强。<p>今天就试试Fiig吧 -- www.ubik.studio<p>欢迎并鼓励反馈。<p>我们正在开发EVALS和一个应用程序。稍后会给你们更新!(我们只有两个人,工作量大得惊人,哈哈)