最新

大家好， 我是Jash，Flywheel AI的联合创始人（<a href="https://useflywheel.ai">https://useflywheel.ai</a>），之前曾在<a href="https://remoteteleop.com" rel="nofollow">https://remoteteleop.com</a>工作。我的联合创始人Mahimana Bhatt曾在自动驾驶公司Motional负责机器学习数据和评估管道的构建。 我们正在为挖掘机构建远程遥控和自动化系统。 与现有挖掘机进行接口以实现远程遥控（或自动化）是非常困难的。与使用线控技术的汽车不同，数百万台挖掘机大多数是全液压机器。操纵杆连接到一个主液压回路中的控制液压电路，按比例移动主液压回路中的缸体，最终移动挖掘机的关节。这意味着挖掘机通常没有电子元件来控制关节。我们通过机械方式驱动挖掘机内部的操纵杆和踏板来解决这个问题。 我们通过改装的方式，使其适用于任何型号和品牌的挖掘机，从而增强现有机器的功能。通过实现远程遥控，我们能够提高现场安全性、生产力以及成本效率。 操作员的（远程）遥控使我们能够准备自动化所需的训练数据。在机器人技术中，训练数据包括观察和动作。虽然互联网上有大量的图像和视频，但以自我为中心的（视角）观察和动作数据极为稀缺，正是这种稀缺性阻碍了机器人学习策略的扩展。 Flywheel通过准备来自我们已经部署的远程遥控挖掘机的训练数据来解决这个问题。我们只需非常少量的硬件设置和资源即可实现。 在我们参加YC期间，我们进行了25到30次传感器堆栈和位置排列/组合的迭代，以及模型超参数的变化。我们称之为“我们改装物理形态的演变”。最终，我们达到了当前的演变，并成功地在仅有几个小时的训练数据下训练出了一定程度的自动化。我们将继续调整这些“旋钮”，以找出更有效的方法。 最大的收获是数据的重要性远超模型超参数的优化。因此，今天我们将开源使用Flywheel系统在真实施工现场收集的100小时挖掘机数据集。这是与Frodobots.ai合作的成果。 一些详细信息如下： <a href="https://youtu.be/zCNmNm3lQGk" rel="nofollow">https://youtu.be/zCNmNm3lQGk</a> 机器/改装的详细信息： 沃尔沃EC380（38吨挖掘机） 4个摄像头（25fps） 25Hz专家操作员的动作数据 我们刚刚起步。我们在光照、天气、任务等方面有大量变化，并且很快会增加更多小时的数据，并转换为lerobot格式。我们这样做是为了让像你我这样的开发者能够在真实世界数据上尝试训练模型，而这些数据是非常难以获取的。 请查看数据集，随意下载和使用。我们迫不及待想看到你们的成果。我会在讨论中保持在线，期待社区的评论和反馈！ 数据集链接：<a href="https://huggingface.co/datasets/FlywheelAI/excavator-dataset" rel="nofollow">https://huggingface.co/datasets/FlywheelAI/excavator-dataset</a>

作为一名独立开发者，我推出了 n8ntemplates.me —— 一个 n8n 工作流模板的中心，同时还提供 AI 工作流生成器。希望能得到 HN 社区的反馈。