WASM数据库和工作线程消息传递如何帮助我在浏览器中处理500MB数据,耗时2秒

2作者: vinserello3 个月前原帖
演示让我们崩溃:Datastripes 在处理 200MB 的表格时停滞不前。<p>解决方案 = 将逻辑拆分到 WASM 分析数据库中(<3 duckDB),通过同步消息通道连接工作者,减少开销。解析和聚合现在并行运行,没有多余的操作。<p>基准测试: 500MB 数据在 ~2 秒内被处理 100k+ 行数据的图表实时更新 普通 i7 处理器,16GB 内存<p>基本上是以 GPU 速度处理电子表格,但不需要 GPU。 来试试吧: https://datastripes.com
查看原文
Demo broke us: Datastripes stalled on a 200MB sheet.<p>Fix = rip logic into WASM analytical DB (&lt;3 duckDB), wire workers with synced message channels, cut the overhead. Parsing + aggregation now run parallel, no BS.<p>Benchmarks: 500MB ingested in ~2s Charts on 100k+ rows live Plain i7, 16GB RAM<p>Basically spreadsheets at GPU-speed, no GPU. Play with it: https:&#x2F;&#x2F;datastripes.com