4作者: mprataps9 个月前原帖
嗨,HN, 我开发了一个名为 SmartFileProcessor 的 Java 库,旨在简化高性能、多线程文件处理,使其更易于维护。 大多数 Java 文件处理解决方案要么涉及大量的样板代码,要么在并发、背压或指标处理方面表现不佳。我需要一个快速、简洁且适合生产环境的解决方案,因此我构建了这个库。 主要特点: - 使用可配置线程池的多线程行/批处理 - 内置背压的生产者/消费者模型 - 带有可选自动刷新功能的缓冲异步写入 - 实时指标:内存使用情况、吞吐量、线程时间、队列统计 - 简单的构建器 API — 最小化设置即可开始使用 - 输出指标为 JSON、CSV 或人类可读格式 使用场景: - 大型 CSV 或日志文件解析 - ETL 预处理 - 行级过滤和转换 - 数据摄取前的批处理准备 我非常希望能听到您的反馈 — 特性建议、性能改进、批评意见,或者这是否解决了其他人的实际问题。感谢您关注这个项目!