人们在大型（32倍）自托管设置或小型多机架设置中如何测量GPU的功耗？我见过一些可以收集和传输数据的电源分配单元（PDU），但我不太清楚具体的流程，以及人们在小型构建中是如何做到这一点的。
目前，我通过NVML的nvmlDeviceGetPowerUsage接口收集数据，在推理过程中每100毫秒轮询一次，记录每次请求的峰值和平均功耗，得到以下数据：
模型 平均功耗范围（瓦特） 波动 标准差
qwen3-8b 114.3-121.9 7.6W 1.17
llama-3.1-8b-instruct 104.7-122.1 17.4W 4.29
qwen2.5-1.5b-instruct 53.7-73.0 19.3W 5.23
mistral-7b-instruct-v0.3 96.2-120.0 23.8W 6.01
qwen2.5-7b-instruct 88.7-124.5 35.8W 7.73
gemma-3-1b-it 49.4-56.7 7.3W 2.13
以上数据是针对每个GPU、单卡的测量结果——我不确定在机架规模下是否存在每次请求的功耗归属，或者监控是否完全在PDU/BMC级别进行。
返回首页
最新
几年前，我使用Wireshark嗅探并解码了Shure MVX2U的协议，这是一款用于专业麦克风的USB/3.5mm适配器。Shure并没有提供在Linux或Android上更改适配器设置的方法，而我又没有Windows/Mac电脑，因此我用Python编写了一个命令行客户端，并开发了一个Android应用。命令行工具存在一些小bug，我始终无法弄清楚如何在一个端点更改设置，同时在Python脚本中监控音频端点，并在另一个应用中进行监听。这并没有让我太困扰，因为我的主要目标是让我的搭档和我能够通过手机调整麦克风增益（自动增益和压缩效果并不理想），并为音乐和戏剧项目切换幻象电源。
（我后来换成了一款经过大量改装的Zoom F3，配有直接连接的Schoeps CMC1放大器，采用M/S配置；它的尺寸和重量几乎相同，噪声底 drastically lower，具备现场录音功能，并且立体声宽度可调……不幸的是，这套新设备的成本超过了MVX2U + sE8或NT5的十倍。）
我曾经几次心不在焉地尝试重组我的Python代码结构，合并那些长时间未被注意的PR，并尝试新的音频/USB/HID模块，但始终没有时间和动力去彻底重写所有内容并使音频监控正常工作。每次重写尝试都会引入一两个新的Git分支，让我在“下次”处理时更加繁琐。这个项目从来没有变得简单过！
这时，来自GitHub的Humblemonk出现了。这位开发者利用Claude对我的协议文档进行了分析，编写了一个Rust设备探测器和带音频监控的TUI，功能超出了我的应用。这款应用修复了已知的bug，增加了新的MV设备，并支持Mac和Windows。
如果你还需要另一个关于AI对编程配对如何构建有效工具的轶事，这就是我对其的认可。相信我，我并不喜欢Rust重写（uutils中的“u”代表“唉”），但我很高兴看到一个比我编写的应用更好的替代品，它基于我的探索工作实现了Shure的USB协议，并让更多用户能够使用商业音频设备。
这是一个自托管的项目管理工具，开源。<p>它叫做Seeder，寓意从种子开始新事物，并在成长过程中悉心照料……哈哈，实际上，它非常适合小团队使用。如果有任何需要改进的地方，请告诉我。<p>请访问 https://seederpm.xyz 了解更多信息。