返回首页
最新
你好,
我有一个较大的(2 GB)经过精心挑选的高质量文本语料库,内容为某种低资源语言,我想构建一个为写作者提供高级“自动补全”服务的模型。
我考虑使用仅解码器模型,如Llama、Mistral或Gemma,去掉基于不需要的语言的嵌入层,创建新的嵌入层(可能基于在该语料库上训练的FastText模型初始化),并配合从我的语料库新创建的分词器,然后在我的语料库上训练模型直到收敛。
其他潜在的细节包括:为同义词感知训练定制损失函数(基于定制的高质量同义词词典),在这种情况下,“正确”单词的同义词会得到一定的奖励;使用特定语言的词性标注器对语料库进行词性标注,并为模型添加一个词性标注头作为多任务学习,以强制生成符合语法的文本。
为了能够使用一个好的模型作为基础,我可能会被迫使用PEFT(LoRA)。我目前的设置是Colab Pro+上可用的资源,所以我可能可以使用7b-12b范围的模型?
我主要的问题是,哪个基础模型最适合这个任务?(再次强调,是为了完成各种类型的一般写作,而不是编程或高级推理)。
此外,同义词和词性标注的添加是有帮助还是有害?
还有其他我可能遗漏的内容吗?
谢谢!
嘿,HN,
我14岁,已经对创业充满热情一段时间了。我注意到一个大问题:我们中的大多数人(尤其是首次创业者)花费几个月的时间去构建一些没人想要的东西。因此,我创建了Startup Solve——一个基于人工智能的平台,帮助你在写下第一行代码之前对创业想法进行压力测试。
它包含六个工具:
~ AI联合创始人 → 像聪明的合作伙伴一样与你进行头脑风暴。
~ 创业神谕 → 对你的想法进行压力测试,并提出风险投资者会问的尖锐问题。
~ 融资预测器 → 估算你的想法是否有可能获得融资。
~ 创意孵化器 → 帮助细化和聚焦广泛的想法。
~ 可行性扫描仪 → 评估可行性、市场规模和竞争情况。
~ 增长引擎 → 生成潜在的市场进入策略。
我们的目标不是取代创始人,而是节省时间、提高清晰度,帮助你专注于正确的问题,而不是追逐噪音。
我在没有编程背景的情况下构建了这个平台,逐步学习。虽然现在还处于早期阶段,但一些尝试过的人表示,这就像为他们的创业提供了一个“现实检查伙伴”。
我非常希望得到HN的反馈——无论是直言不讳的批评,还是如何让这个平台对认真创业者更有价值的建议。
[https://startup-solve.lovable.app](https://startup-solve.lovable.app)
感谢阅读。
在2023年底,我在/r/CombatFootage上发布了一段原始视频,展示了以色列国防军士兵被真主党击中的场景。没有评论,也没有嘲讽。<p>两周前,我的10年老Reddit账户(没有任何事先警告)被永久封禁,原因就是那段视频。<p>与此同时,在同一场战争期间,许多展示以色列国防军攻击的视频仍然存在。每天仍然有大量关于俄罗斯人死亡的视频被发布。<p>我对封禁的申诉没有得到回应。审查似乎与“战斗画面”无关,而更多地与展示哪一方处于劣势有关。
由于谷歌将只允许经过验证的开发者在安卓设备上安装应用程序(之前的讨论):https://news.ycombinator.com/item?id=45017028
一位开发者发起了一项请愿,要求停止谷歌限制安卓设备上应用程序的安装,除非开发者提供个人身份文件。
尽管谷歌过去并未撤回类似的争议政策,我们仍将尽力而为。这一变化特别威胁到在不提供敏感个人信息的情况下构建、分享和使用软件的自由。它影响到独立开发者、自由和开源软件(FOSS)贡献者,甚至是希望在谷歌 Play 商店之外安装应用的普通用户。
“想象一下,为了在谷歌 Play 商店之外安装一个应用程序而将敏感的个人身份信息、政府颁发的身份证明交给一家公司。”
让我们团结起来,保护我们创造和使用软件的自由,而不必将个人信息交给公司。每一份签名、每一次分享和每一个声音都至关重要。
请在这里支持请愿: https://chng.it/MsHzSXtJnw