LeRobot documentation
Camera & Cảm biến của bên thứ ba
Camera & Cảm biến của bên thứ ba
Hệ sinh thái LeRobot mở rộng vượt xa các camera được hỗ trợ sẵn (OpenCV, Intel RealSense, ZMQ, Reachy 2). Nhờ kiến trúc plugin của LeRobot, cộng đồng đã xây dựng các tích hợp camera và cảm biến có thể thay thế trực tiếp — từ camera đo độ sâu đến cảm biến xúc giác dựa trên thị giác. Trang này giới thiệu các tích hợp camera và cảm biến do cộng đồng duy trì mà bạn có thể sử dụng cho teleoperation, thu thập dữ liệu và triển khai policy.
Các dự án này được phát triển và bảo trì bởi bên thứ ba. Vui lòng tham khảo từng kho lưu trữ để biết hướng dẫn cài đặt, yêu cầu phần cứng và hỗ trợ.
Các plugin dạng drop-in được tự động phát hiện theo tên gói: LeRobot sẽ import bất kỳ gói nào đã cài đặt có tiền tố lerobot_camera_. Sau khi cài đặt, hãy tham chiếu đến type của camera mà plugin đăng ký (xem README của nó — có thể khác với tên gói) trực tiếp từ bất kỳ lệnh LeRobot nào:
pip install lerobot_camera_<name>
lerobot-record \
--robot.type=so101_follower \
--robot.port=/dev/ttyACM0 \
--robot.id=my_follower_arm \
--robot.cameras="{ front: {type: <name>, width: 640, height: 480, fps: 30} }" \
--teleop.type=so101_leader \
--teleop.port=/dev/ttyACM1 \
--teleop.id=my_leader_arm \
--dataset.repo_id=${HF_USER}/my-dataset \
--dataset.single_task="Describe your task here" \
--dataset.num_episodes=5Cảm biến xúc giác
| Dự án | Mô tả |
|---|---|
| lerobot-camera-xense | Plugin cho cảm biến xúc giác dựa trên thị giác Xense, cung cấp ảnh đã chỉnh sửa/ảnh khác biệt, độ sâu và các mốc 2D. |
| lerobot_camera_paxini | Plugin cho cảm biến xúc giác đa chiều Paxini PX-6AX GEN3 (lực 3 trục cho mỗi taxel, 9-239 taxels), hiển thị mảng taxel dưới dạng ảnh vector lực hoặc heatmap. |
Camera đo chiều sâu
| Dự án | Mô tả |
|---|---|
| lerobot_camera_berxel | Plugin cho camera đo độ sâu Berxel, một phần của bộ driver HEXFELLOW rộng lớn hơn. |
| lerobot_camera_zed | Plugin chính thức cho camera Stereolabs ZED (ZED 2/2i/Mini, dòng ZED X và ZED X One), với độ sâu theo đơn vị metric, dấu thời gian phần cứng và ghi SVO. |
| lerobot_camera_oak | Plugin cho camera Luxonis OAK và OAK4 qua USB hoặc PoE (DepthAI v3), với tùy chọn bản đồ độ sâu và đám mây điểm. |
Camera mạng
| Dự án | Mô tả |
|---|---|
| lerobot_camera_zmq | Plugin phát trực tiếp các khung hình từ Stereolabs ZED và camera USB từ Raspberry Pi qua mạng. |
Camera ảo
| Dự án | Mô tả |
|---|---|
| lerobot_camera_dummy | Plugin mô phỏng camera để ghi hình mà không cần phần cứng. Hữu ích cho việc gỡ lỗi! |
Đóng góp
Bạn đã tự xây dựng tích hợp camera hoặc cảm biến LeRobot của riêng mình? Hãy đóng gói nó thành plugin lerobot_camera_<name> có thể cài đặt và LeRobot CLI sẽ tự động phát hiện — xem hướng dẫn Bring Your Own Hardware và tài liệu tham khảo Cameras để bắt đầu, sau đó chia sẻ dự án của bạn với cộng đồng!