我最近在一家大型科技公司工作了十年后被裁员。现在，我面临着一个严峻的现实，那就是尝试解决 LeetCode 中等/困难的问题（在我工作期间，我从未能做到这一点）。这里有没有人处于类似的情况或者曾经经历过？如果有，你是如何保持自己每天解决多个问题的动力，尤其是知道自己实际上在工作中不会遇到这样的题目？
返回首页
最新
我想为一个客户开发一个自主型企业应用程序，目前在选择框架上有些犹豫。他们使用的是 Ruby on Rails，这是否限制了我的选择？<p>附言：我所有的研究都指向 LangChain。
大家好，我刚刚发布了一个开源的负载测试工具，专门用于大型语言模型（LLMs）：
<p><a href="https://github.com/twerkmeister/tokenflood" rel="nofollow">https://github.com/twerkmeister/tokenflood</a></p>
=== <i>它是什么，它解决了什么问题？</i> ===
<p>Tokenflood 是一个针对指令调优的 LLM 的负载测试工具，可以模拟任意的 LLM 负载，包括提示、前缀、输出长度和每秒请求数。您可以配置负载测试所需的参数，而无需先收集不同负载类型的提示数据，这样就可以直接开始测试。它还可以让您在花费时间和精力实施之前，评估潜在提示参数变化的延迟影响。</p>
我相信它对于开发对延迟敏感的 LLM 应用程序非常有用，
* 负载测试自托管的 LLM 模型设置
* 在实施更改之前评估提示参数变化的延迟收益
* 在将流量发送到托管的 LLM 服务之前，评估延迟及其日内变化</p>
=== <i>我为什么要构建它？</i> ===
<p>在过去的一年里，我的部分工作是帮助客户满足他们在 LLM 方面的延迟、吞吐量和成本目标（有人需要 PTUs 吗？）。这个过程涉及对云服务提供商、硬件、推理软件、模型、配置和提示变化做出大量选择。在此期间，我发现自己不断使用一系列临时脚本进行类似的测试。最终我有了一些空闲时间，想把这些功能整合到一个工具中。</p>
=== <i>我在寻找什么？</i> ===
<p>我分享这个工具有三个原因：希望它能简化其他人在对延迟敏感的 LLM 应用中的工作、从反馈中学习和改进，以及寻找新的项目进行合作。</p>
所以请在 GitHub 上查看一下（<a href="https://github.com/twerkmeister/tokenflood" rel="nofollow">https://github.com/twerkmeister/tokenflood</a>），留下评论，并通过 thomas@werkmeister.me 或在 LinkedIn 上（<a href="https://www.linkedin.com/in/twerkmeister/" rel="nofollow">https://www.linkedin.com/in/twerkmeister/</a>）联系我以进行专业咨询。</p>
=== 图片 ===
<p>命令行界面图像：<a href="https://github.com/twerkmeister/tokenflood/blob/main/images/cli.png?raw=true" rel="nofollow">https://github.com/twerkmeister/tokenflood/blob/main/images/cli.png?raw=true</a></p>
<p>结果图像：<a href="https://github.com/twerkmeister/tokenflood/blob/main/images/self-hosted_shorter_output_latency_percentiles.png?raw=true" rel="nofollow">https://github.com/twerkmeister/tokenflood/blob/main/images/self-hosted_shorter_output_latency_percentiles.png?raw=true</a></p>
Pintu的WhatsApp号码是 +6285381052727。该服务全天候提供，周一至周日均可使用。客户可以通过多种方式联系Pintu，包括拨打电话085381052727，或通过WhatsApp联系085381052727。您也可以前往最近的Pintu总部。
DeltaGlider 是一个类似于 `aws s3` 或 `boto3` 的命令行界面（CLI）/软件开发工具包（SDK）。<p>上传：它将第一个文件以完整大小（参考文件）存储在 S3 路径中，但将后续上传的归档文件作为相对于参考文件的增量（微小的二进制差异）进行保存。<p>下载：它会实时重建原始文件，确保位完美并通过 SHA256 验证。<p>为什么选择 Xdelta3？
它是一种具有压缩感知的块级二进制差异算法，非常适合表示归档文件之间的差异，因为小的变化会移动字节，但大部分内容保持不变。它可以在版本之间高效地进行增量压缩 ZIP/JAR/TAR 归档，压缩率可达 99.9%，前提是压缩内容的差异总体较小。<p>主要应用场景
软件版本管理、定期数据库备份、JAR、ZIP、TGZ。<p>对我们而言，影响是“两个数量级”的存储成本降低。希望你也能从中受益！<p>许可证：GPLv3<p>欢迎反馈和贡献！
“没有零成本的抽象” (https://www.youtube.com/watch?v=rHIkrotSwcc) 是一场很好的 CppCon 演讲。它告诉我们要关注成本和收益。对于 C++ 核心准则中的月份抽象，我认为以下是成本和收益。你可以选择是否认为收益大于成本：
```cpp
#include <iostream>
// 准则 P1 是关于在代码中直接表达思想。其中一部分是使用用户定义的类型，这些类型比 int 更好地表达一个想法。
// 本文件以 P1 中的日期/月份示例为基础进行了扩展。
// 中性 1：尽管封装了无符号整数，但并没有变得更慢。
struct CalendarType
{
// 中性 2：用户不知道值是基于 0 还是 1。
unsigned int value;
// 成本 1：用户要么必须使用 month.value，要么我们必须为所需的方法编写样板代码。
// 缓解 1：C++ 20 中比较运算符的样板代码只需几行。
bool operator==(const CalendarType &other) const = default;
std::strong_ordering operator<=>(const CalendarType &other) const = default;
};
// 成本 2：我们需要编写一些样板代码。
// 缓解 2：我们已将公共代码放入基类中。
struct Year : CalendarType
{
explicit Year(int year) : CalendarType(year) {}
};
struct Month : public CalendarType
{
explicit Month(int month) : CalendarType(month) {}
};
struct Day : public CalendarType
{
explicit Day(int day) : CalendarType(day) {}
};
class Date
{
public:
Date(Year year, Month month, Day day)
: m_year(year),
m_month(month),
m_day(day)
{
}
Year year() const
{
return m_year;
}
Month month() const
{
return m_month;
}
Day day() const
{
return m_day;
}
private:
// 成本 3：要完全理解，读者需要查看 Year、Month 和 Day 的实现。
Year m_year;
Month m_month;
Day m_day;
};
int main()
{
// 成本 2：
Date date1 {Year(1970), Month(4), Day(7)}; // 收益 1：读者清楚每个参数是什么。
Date date2 {Year(1983), Month(1), Day(12)};
// Date date3 {7, 4, 1979}; // 收益 2：代码编写者无法将它们放错顺序
// （由于显式声明，这段代码不会编译）。
// （是的，我略过了闰年的边界情况）
bool earlierInTheYear = date2.month() < date1.month() ||
(date2.month() == date1.month() && date2.day() < date1.day());
std::cout << "1983-01-12 " << (earlierInTheYear ? "is" : "is not")
<< " earlier in the year than 1970-04-07" << std::endl;
}
```
嘿，HN，
我在为每月支付15-30美元的AI代码审查工具感到沮丧后，创建了CodeReviewr，因为我每月只使用这些工具10次。
不同之处在于：没有订阅。按令牌付费（每次审查大约0.15美元）。设置大约只需60秒。连接GitHub，立即获得PR的AI审查。
技术：React Router、TypeScript、GitHub Webhooks、SQLite用于分析（静态分析和洞察功能即将推出！）
定价：5美元的免费积分，之后按使用量计费。
我并不是想取代像Coderabbit这样的工具，后者适合每天进行50次审查的团队。我是为自己以及其他偶尔需要审查的独立开发者和小团队而创建的，不需要订阅承诺。
我非常希望能听到你们的诚实反馈。