返回首页
最新
我花了七个月的时间开发一个我希望在之前的工作中就能拥有的工具。MimicScribe 是一款适用于 macOS 的菜单栏应用，属于“人工智能记笔记工具”类别。它具备准确的设备内扬声器识别（可能是首个实现这一功能的工具），实时会议讨论要点，适用于发现性通话，并且拥有完全基于键盘和语音驱动的界面。
我认为扬声器识别系统的准确性是其最大的优势。我使用了 Fluid Audio 的移植版（<a href="https://github.com/fluidInference/FluidAudio" rel="nofollow">https://github.com/fluidInference/FluidAudio</a>）作为基础。为了提高准确性，该系统利用 Parakeet STT 的语法结构线索按句子进行掩蔽。通过在该掩蔽内进行第二组样本采集以进行聚类分配，它利用了大多数人在商务会议中不会完成彼此的……三明治这一事实。它倾向于稍微过度分段，因为我发现合并段落或重新分配扬声器要比解开错误合并容易得多。
该应用在会议中提供讨论要点，使用针对发现性通话调优的提示。它可以建议探讨性问题，帮助你提取更多细节，或者通过“魔法棒”式的问题帮助你重新聚焦于大局（例如：“你理想的系统应该如何运作”）。获得低延迟模型以提供新颖、相关且完全不虚构的信息有些困难，它往往会频繁重复转录内容，但有时也会产生一些小亮点，因此最好将其视为灵感来源，并保持警惕。
该应用的设置允许通过按住快捷键来开始和结束录音，而不是连接到你的日历服务。我更喜欢这种方式，以保护隐私并防止转录历史变得杂乱。点击快捷键可以在你当前的屏幕上显示和隐藏一个始终在最上层的覆盖层，无论你是否将其他应用全屏。除了简单的导航外，你还可以使用语音命令进行会议后的修正或补充，例如，你可以简单地说“将这个扬声器与那个扬声器合并”来清理转录内容。
它还具备按需对话/口述功能，并结合了 LLM 清理——这是该应用最初的功能，但这个工具对开发者来说吸引力十足，开发者们对此非常感兴趣。
一位在金融行业工作的开发者朋友查看了网站，并表示他会退出，因为隐私方面的故事不够强大，因此我添加了一个完全在设备上的模式和自带密钥的选项。使用云模型确实为体验增添了很多，包括上下文感知的扬声器合并和片段清理、会议中的摘要项目、归属的行动项目等。在设备模式下是完全免费的，扬声器识别仍然非常有用。
隐私问题是我对该应用最大的担忧，特别是因为其目标用户群体更为技术化。我非常希望听到大家对此的看法，任何反馈都将非常有帮助。
大家好，我们是来自General Instinct的Guanming和Bill（<a href="https://general-instinct.com">https://general-instinct.com</a>）。
<p>经过多年的机器人领域工作，我们不断遇到同一个问题：最佳模型往往无法适配我们实际拥有的硬件。</p>
<p>表现最好的模型通常是基于数据中心的假设设计的：大型GPU、大量内存带宽和可靠的网络访问。但大多数物理系统却面临相反的限制。</p>
<p>这促使我们探索如何在确保模型前沿性的同时，使其能够在边缘硬件上实际运行。</p>
<p>作为这项工作的一个成果，我们最近开源了InstinctRazor（<a href="https://github.com/General-Instinct/InstinctRazor" rel="nofollow">https://github.com/General-Instinct/InstinctRazor</a>）。</p>
<p>我们特别兴奋的一项成果是将大约245 GB的BF16 MoE模型Qwen3.5-122B-A10B压缩到48 GiB的GGUF中。这个模型的体积实际上比Gemma-4-26B-A4B还要小，但在MMLU-Pro和GPQA-D等基准测试中表现更佳。我们保留了始终活跃的部分（如路由器、归一化层、Gated-DeltaNet/SSM层、视觉通路等），并对路由专家进行了更积极的量化。然后，我们使用在线蒸馏技术来恢复在量化过程中损失的能力。</p>
<p>该模型还可以在“小GPU”配置下运行，其中专家从系统RAM中流式传输。在8k上下文窗口下，峰值显存使用量约为7.6–8 GB。</p>
<p>如果您对技术细节感兴趣，我们在这里写下了相关方法（<a href="https://general-instinct.com/blog/frontier-moe-sub-4-bit">https://general-instinct.com/blog/frontier-moe-sub-4-bit</a>）。</p>
<p>我们尤其希望听到那些将模型部署到机器人或其他边缘设备上的人的反馈。您今天尝试在本地运行哪些模型？在将它们投入生产时，遇到的最大瓶颈是什么？</p>
我是一名后端开发者，但我对许多其他领域也很感兴趣：前端、人工智能、基础设施、架构和系统设计。我希望能够跟上这些领域的新思想和进展。
我的问题是，大多数变更日志和新闻来源给我提供的信息量太大。我花费很多精力去梳理这些信息，只是为了弄清楚哪些内容实际上是重要的。过一段时间后，我会感到信息过载，然后放弃并取消订阅所有内容。
所以现在我在寻找更多经过筛选的内容。也许是一个新闻通讯，或者一些对软件工程和特定技术有独到见解的人。我想关注那些能过滤噪音并清晰解释有趣部分的人。
目前我的订阅列表相当短：
- Hacker Newsletter
- Platformer
- The Pragmatic Engineer
你们都在读些什么？你们订阅了哪些报纸？