11作者: MediaSquirrel13 天前原帖
大约六个月前,我开始在我的M2 Ultra Mac Studio上进行一个项目,旨在对Whisper进行本地微调,预算有限。我对此非常投入。当时我面临的问题是,我在Google Cloud Storage中有15,000小时的音频数据,而无法将所有音频数据都放入我的本地机器,因此我构建了一个系统,在训练期间将数据从GCS流式传输到我的机器上。 Gemma 3n发布后,我将其加入了项目。说实话,我有点疯狂了。 然后我把它搁置了一段时间。 几天前,Gemma 4发布后,我把它拿出来,清理了一下,将Gemma部分从Whisper微调中分离出来,并添加了对Gemma 4的支持。 今天我在这里向你们展示这个项目,希望你们能玩得开心,进行分叉和改进。 到目前为止,我学到的一件事是:在对较长序列进行微调时,很容易出现内存溢出(OOM)!我的本地Mac Studio有64GB内存,所以我经常会耗尽内存。 无论如何,考虑到大家对Gemma 4的浓厚兴趣,以及坦率地说,实际上你无法使用MLX进行音频微调,这也是我制作这个项目的原因之一(除了我个人的兴趣)。我本希望能使用MLX,而不必制作这个项目,但事实就是这样。欢迎来到我的小副项目。 所以我做了这个。我希望你们使用它时能像我制作它时那样享受乐趣。 - Matt