返回首页
最新
您在使用 OpenClaw 时取得了哪些非常有成效的成就,愿意分享的吗?
嗨,HN,
我一直在了解Meshtastic,这个想法听起来很棒。但我并没有具体的使用案例,不知道它是否仍然有用?
你们在公共频道上有没有什么成功的经验?它和业余无线电类似吗?
嗨,HN,
我创建了StreamHouse,这是一个开源流媒体平台,它用直接写入S3的方式替代了Kafka的代理管理存储。目标是:保持相同的语义,成本却大幅降低。
它是如何工作的:生产者批量并压缩记录,一个无状态的服务器管理分区路由和元数据(开发环境使用SQLite,生产环境使用PostgreSQL),而数据段直接存储在S3中。消费者从S3读取数据,并使用本地段缓存。无需管理代理磁盘,也无需调整复制因子——S3提供了11个9的持久性,开箱即用。
目前的功能包括:
- 具有批处理、LZ4压缩和偏移量跟踪的生产者API(每秒62K条记录)
- 具有消费者组、自动提交和多分区分发的消费者API(每秒30K+条记录)
- 兼容Kafka的协议(与现有Kafka客户端兼容)
- REST API、gRPC API、CLI和网页用户界面
- Docker Compose设置,可以在5分钟内本地试用
这个成本模型是我开发这个项目的动力。Kafka的存储成本与复制因子 × 保留时间 × 数据量成正比。而使用S3,每GB每月仅需$0.023,存储1TB事件的成本约为每月$23,而不是在代理EBS卷上花费数百美元。
该项目使用Rust编写,约50K行代码,分布在15个库中。采用Apache 2.0许可证。
GitHub链接:[https://github.com/gbram1/streamhouse](https://github.com/gbram1/streamhouse)
我很乐意回答关于架构、权衡或我在构建这个项目中学到的知识的问题。