我们很高兴地向大家宣布 DepthAI v3.6.1已经正式发布! 本次更新我们带来了许多新的高质量和性能的提升来完善OAK的软件生态系统。我们着重提升了部署的韧性,将前沿检测模型推向边缘端侧,并大幅度加速了设备端的神经网络的计算。

以下是我们本次发布的三个核心点:自动标定,Yolo26的集成和我们优化的神经网络深度模型。

  • 自动标定现在已被默认启用

机器人和空间智能系统常常面临恶劣的现实世界自然环境挑战,例如温度的变化和连续振动,这很容易导致立体深度校准随着时间产生偏移,为了解决这类问题,我们引入了AutoCalibration(自动标定) 节点。

DepthAI v3.6.0 以上的版本AutoCalibration 现已被设置为默认启用(default.

Zero-Touch Accurancy它在启用后通过后台运行自动保持立体深度校准,确保高质量的深度精度,无需用户干预。

Opt-Out Flexibility: 如果您的特定管线需要静态校准,您可以通过设置环境变量 environment variable DEPTHAI_AUTOCALIBRATION=OFF. 轻松禁用/启用此功能。

  • 神经网络深度FPS极大提升 

深度感知是空间智能的核心,但传统的经典算法可能难以处理无纹理的表平面,例如白色墙壁或极端的光源环境。OAK 神经网络立体深度 solves 通过学习 robust feature correspondence cost aggregation 来解决这个问题,从而完全在设备上计算、提供高度精确、无幻觉的深度。

在这个版本中, 我们对NeuralDepth的模型进行了大量优化,以大幅提升FPS,而不需要额外部署桌面级GPU来计算。

LARGE (768x480): 10 FPS 增强至 22 FPS.

MEDIUM (576x360): 26 FPS 增强至 38 FPS.

SMALL (480x300):  42 FPS 增强至 56 FPS.

NANO (384x240):  60 FPS 增强至 85 FPS.

我们还新增了4款全新的高分辨率 XL 神经网络深度模型 :

1248x780 at 8.5 FPS

1056x660 at 12.5 FPS

960x600 at 14 FPS

864x540 at 18 FPS

YOLO26的原生支持

DepthAI v3.6.0 DetectionParser中正式添加了对 YOLO26 的支持。Ultralytics YOLO262026年初正式发布,是专为边缘计算和低功耗设备所设计的样式变体。

NMS-Free Inference: YOLO26 具有本机端到端架构,完全消除了对Non-Maximum Suppression NMS)后处理的需求。这简化了部署流程,并极大降低了延迟。 that completely eliminates the need for Non-Maximum Suppression (NMS) post-processing

Edge-Optimized Design: 通过移除分布焦损 (DFL) 模块, YOLO26简化了网络的导出图,使其非常轻便,对于CPU受限和边缘AI应用程序,速度提升了43%

Advanced Convergence: 他利用全新的 MuSGD 优化器 受到大模型训练突破的SGDMuon 混合 实现高度稳定和快速的模型收敛。

其他显著功能 & 提升

图像传感器 & IMU更新

Unified IMU Outputs: 我们同意了所有传感器的IMU输出。每个传感器现在都支持原生RAWUNCALIBRATED, and CALIBRATED.格式(注意 RAW 现在总是直接从IMU捕获,无需预旋转。使用  UNCALIBRATED 保留传统坐标系行为)

RVC4 Camera Syncing:  添加了对RVC4上相机同步的精确时间协议(PTP) 支持(目前仅对 IMX586 OG05 图像传感器支持).

Smart Auto-Selection:  如果全分辨率不能满足您的输出要求,DepthAI现在会自动回退到裁剪的传感器配置。.它还会自动将不可同步的摄像头切换到自由运行模式 (注意:正确跟踪裁剪配置的内部函数需要RVC4上的Luxonis OS 1.31或更高版本)。

管线录制实用程序

Holistic Record & Replay: 我们大大改进了流媒体录制。现在, 您可以记录设备校准、模拟硬件功能,如(device.getConnectedCameraFeatures()),并利用自动同步实现高度稳定的播放。现在,回放就如同设置 DEPTHAI_REPLAY={path} 环境变量一样简单。

Extrinsics Tracking: 跟踪发送到索引最低的相机插槽 (e.g., CAM_A), 的每条消息中的旋转和平移,并与新的实用程序配对,以重新映射/投影图像之间的点。

New PointCloud Node: 我们添加了一个支持选择自定义坐标系的专用点云节点

ObjectTracker Upgrades: 添加了可选的3D关联,并直接向 dai.Tracklet. 公开了新的 velocity 属性。

Embedded Visualizer 2.3.3: 具有更好的管线调试窗格、UI修复和改进的连接稳定性。

RVC2 & RVC4 属性

StereoDepth Alignment: 添加了 LEFT 和 RIGHT 对齐, 正确地遵循 RECTIFIED_LEFT  RECTIFIED_RIGHT RVC4上的状态

Host-Side Processing: 如果模型包含分段掩码,DetectionParser 现在会自动切换到在RVC2中的主机上运行。我们还添加了对MessageDemux在主机上运行的支持。

IMX380 Support: 现已经在RVC2上新增原生支持。

(: RVC4 的集成,在 Luxonis OS 1.20.5, 1.27.1, 1.30.1上我们进行了大量测试)

Get Started

您可以通过以下命令升级到最新的 DepthAI 版本:

python3 -m pip install depthai==3.6.1

有关涵盖新PointCloud节点、Extrinsics trackingPTP同步的完整C++Python示例,请查看我们在GitHub的官方发布说明!

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐