动态

树莓派 AI 套件更新:数据流编译器现已推出

更新日期: 2024年7月16日 00:02

最近发布的树莓派 AI 套件受到了社区的广泛关注。发布时供了许多基于计算机视觉的 AI 演示和示例,这些示例建立在知名的最先进的神经网络模型之上。然而,高级用户很快提出了更多需求——特别是重新训练这些模型以使用他们自己的数据集,甚至编译自定义模型以在 Hailo AI 加速器上运行。Hailo 一直在幕后努力,现在 Hailo 数据流编译器 (DFC) 的发布了。DFC 将允许我们的用户扩展树莓派 AI 套件的功能,并针对其特定的使用案例微调其性能。

携带您自己的数据 (BYOD)

想制作一台可以检测某些类型动物的野生动物相机吗?使用 BYOD 模式的 DFC 可以让用户利用一些最流行的神经网络模型,并在自己的自定义数据集上重新训练。Hailo 创建了一个端到端的教程,概述了如何重新训练现有的神经网络模型。

携带您自己的模型 (BYOM)

如果我们现有的演示和 Hailo 模型库中的神经网络模型不能满足您的需求,您可以使用 DFC 将 ONNX 或 TensorFlow Lite (TFLite) 模型转换并编译为 Hailo 的 HEF 格式,以便在 Hailo AI 加速器上运行。BYOM 并非适合所有人,它需要对模型和转换流程有深刻的理解——但对于一些人来说,这将是一个有趣的挑战。请查看 Hailo 开发者专区中的 DFC 教程。

接下来是什么?

用户还询问了在 Hailo AI 加速器上运行 Whisper、Stable Diffusion 等模型的情况。这些非常大的网络模型目前还无法运行,但 Hailo 正在努力移植其中一些模型。

即将推出的还有与树莓派 AI 套件的 Python/Picamera2 集成。预计在下一个软件包发布中提供对 Python 和 Picamera2 的全面支持,包括演示和示例。