1作者: notepad0x90大约 1 个月前原帖
嗨,HN, 我一直在了解Meshtastic,这个想法听起来很棒。但我并没有具体的使用案例,不知道它是否仍然有用? 你们在公共频道上有没有什么成功的经验?它和业余无线电类似吗?
3作者: gbram大约 1 个月前原帖
嗨,HN, 我创建了StreamHouse,这是一个开源流媒体平台,它用直接写入S3的方式替代了Kafka的代理管理存储。目标是:保持相同的语义,成本却大幅降低。 它是如何工作的:生产者批量并压缩记录,一个无状态的服务器管理分区路由和元数据(开发环境使用SQLite,生产环境使用PostgreSQL),而数据段直接存储在S3中。消费者从S3读取数据,并使用本地段缓存。无需管理代理磁盘,也无需调整复制因子——S3提供了11个9的持久性,开箱即用。 目前的功能包括: - 具有批处理、LZ4压缩和偏移量跟踪的生产者API(每秒62K条记录) - 具有消费者组、自动提交和多分区分发的消费者API(每秒30K+条记录) - 兼容Kafka的协议(与现有Kafka客户端兼容) - REST API、gRPC API、CLI和网页用户界面 - Docker Compose设置,可以在5分钟内本地试用 这个成本模型是我开发这个项目的动力。Kafka的存储成本与复制因子 × 保留时间 × 数据量成正比。而使用S3,每GB每月仅需$0.023,存储1TB事件的成本约为每月$23,而不是在代理EBS卷上花费数百美元。 该项目使用Rust编写,约50K行代码,分布在15个库中。采用Apache 2.0许可证。 GitHub链接:[https://github.com/gbram1/streamhouse](https://github.com/gbram1/streamhouse) 我很乐意回答关于架构、权衡或我在构建这个项目中学到的知识的问题。