最新

我对在语言学习软件中应用大型语言模型（LLMs）非常着迷。但我对许多初创公司开始推出的对话聊天应用程序并没有那么热衷。亲自尝试过后，我发现这些应用相当乏味（“告诉我你今天过得怎么样！”），而且常常使用将英语短语直接翻译成目标语言的说话风格。 我看到在这个领域中大型语言模型有很大的潜力，但到目前为止我看到的对话聊天机器人过于开放，似乎还不够成熟。 对于用户：有没有人觉得这些工具有帮助？ 对于开发这些工具的人：用户真的会回到这个产品吗？

嗨，HN， 我想分享一下 www.kuky.com，这是一个通过短视频连接人们的同伴支持网络，利用大型语言模型（LLMs）进行情感分析来匹配用户。 我们创建Kuky是为了帮助用户找到真正理解他们情感旅程的其他人——不是通过滑动或点赞，而是通过共同的人类故事。在这个简短的Loom演示（链接在上）中，我将介绍以下内容： - 用户通过上传3个视频创建个人资料：一个自我介绍，一个他们的心理健康旅程，以及他们的喜好/不喜欢。 - LLMs分析每个视频的情感基调、关键主题和心理标记。 - 基于这些分析，Kuky智能地将用户与有类似经历和情感共鸣的人连接起来。 我们热衷于创造一个安全、充满同理心的空间，以便进行真实的对话——尤其是对于那些面临心理健康挑战的人。 想了解更多背景信息，这里有一篇关于Kuky的报道，刊登在Women Love Tech上： [https://womenlovetech.com/kuky-the-mental-health-app-were-swiping-right-on/](https://womenlovetech.com/kuky-the-mental-health-app-were-swiping-right-on/) 期待听到你们对这个概念、匹配算法以及你们如何想象使用类似工具的看法。 谢谢， 阿尔敏

我开发了AutoThink，这是一种通过根据查询复杂性自适应分配计算资源，使本地大型语言模型（LLM）更高效推理的技术。 核心思想：不是给每个查询相同的“思考时间”，而是将查询分类为高复杂度或低复杂度，并相应地分配思考令牌。复杂推理获得70-90%的令牌，而简单查询则获得20-40%。 我还实现了源自Pivotal Token Search（最初来自微软的Phi-4论文）的引导向量，这些向量在生成过程中引导模型的推理模式。这些向量鼓励诸如数字准确性、自我纠正和全面探索等行为。 在DeepSeek-R1-Distill-Qwen-1.5B上的结果： - GPQA-Diamond: 31.06% 对比基线的21.72%（相对提升43%） - MMLU-Pro: 26.38% 对比基线的25.58% - 使用的令牌数量少于基线方法 该技术适用于任何本地推理模型——DeepSeek、Qwen、自定义微调模型。没有API依赖。 该技术建立在我开发的两个基础上：一个能够在不重新训练的情况下学习新复杂性类别的自适应分类框架，以及Pivotal Token Search的开源实现。 技术论文： [https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5253327](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5253327) 代码和示例： [https://github.com/codelion/optillm/tree/main/optillm/autothink](https://github.com/codelion/optillm/tree/main/optillm/autothink) PTS实现： [https://github.com/codelion/pts](https://github.com/codelion/pts) 我对您对AI推理的自适应资源分配的看法很感兴趣。您是否尝试过在您的本地模型中使用类似的方法？