ACT (Action Chunking with Transformers)

ACT là một chính sách học bắt chước nhẹ nhàng và hiệu quả, đặc biệt phù hợp cho các tác vụ thao tác chi tiết. Đây là mô hình đầu tiên chúng tôi khuyến nghị khi bạn bắt đầu với LeRobot nhờ thời gian huấn luyện nhanh, yêu cầu tính toán thấp và hiệu suất mạnh mẽ.

Xem hướng dẫn này từ nhóm LeRobot để tìm hiểu cách ACT hoạt động: Hướng dẫn ACT của LeRobot

Tổng quan về Mô hình

Action Chunking with Transformers (ACT) được giới thiệu trong bài báo Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware của Zhao và cộng sự. Chính sách này được thiết kế để cho phép thực hiện các thao tác chính xác, nhiều tiếp xúc bằng phần cứng giá cả phải chăng và dữ liệu mô phỏng tối thiểu.

Vì sao ACT tuyệt vời cho người mới bắt đầu

ACT nổi bật như một điểm khởi đầu tuyệt vời vì một số lý do:

• Đào tạo nhanh: Đào tạo trong vài giờ trên một GPU duy nhất
• Nhẹ: Chỉ ~80M tham số, giúp hiệu quả và dễ làm việc
• Hiệu quả về dữ liệu: Thường đạt tỷ lệ thành công cao chỉ với 50 ví dụ minh họa

Kiến trúc

ACT sử dụng kiến trúc dựa trên transformer với ba thành phần chính:

1. Khung xương thị giác: ResNet-18 xử lý hình ảnh từ nhiều góc nhìn camera
2. Transformer Encoder: Tổng hợp thông tin từ các đặc trưng của camera, vị trí các khớp và một biến tiềm ẩn đã được học
3. Transformer Decoder: Tạo ra các chuỗi hành động nhất quán bằng cách sử dụng cross-attention

Chính sách nhận vào:

• Nhiều hình ảnh RGB (ví dụ: từ camera cổ tay, camera phía trước/phía trên)
• Vị trí khớp robot hiện tại
• Biến phong cách tiềm ẩn z (được học trong quá trình huấn luyện, được đặt bằng không trong suy luận)

Và xuất ra một khối k chuỗi hành động tương lai.

Yêu cầu cài đặt

1. Cài đặt LeRobot bằng cách làm theo Hướng dẫn cài đặt của chúng tôi.
2. ACT được bao gồm trong cài đặt LeRobot cơ bản, vì vậy không cần thêm bất kỳ phụ thuộc nào!

Huấn luyện ACT

ACT hoạt động liền mạch với quy trình huấn luyện LeRobot tiêu chuẩn. Dưới đây là một ví dụ hoàn chỉnh để huấn luyện ACT trên bộ dữ liệu của bạn:

lerobot-train \
  --dataset.repo_id=${HF_USER}/your_dataset \
  --policy.type=act \
  --output_dir=outputs/train/act_your_dataset \
  --job_name=act_your_dataset \
  --policy.device=cuda \
  --trackio.enable=true \
  --policy.repo_id=${HF_USER}/act_policy

Mẹo huấn luyện

1. Bắt đầu với các giá trị mặc định: các siêu tham số mặc định của ACT hoạt động tốt cho hầu hết các tác vụ
2. Thời gian huấn luyện: Dự kiến vài giờ cho 100k bước huấn luyện trên một GPU
3. Batch size: Bắt đầu với batch size 8 và điều chỉnh dựa trên bộ nhớ GPU của bạn

Huấn luyện bằng Google Colab

Nếu máy tính cục bộ của bạn không có GPU mạnh, bạn có thể sử dụng Google Colab để huấn luyện mô hình của mình bằng cách làm theo notebook huấn luyện ACT.

Đánh giá ACT

Khi quá trình huấn luyện hoàn tất, bạn có thể đánh giá chính sách ACT của mình trên robot bằng lerobot-rollout. Lệnh bên dưới chạy chính sách trong 60 giây mà không ghi lại bất kỳ dữ liệu nào (--task có thể bỏ qua đối với ACT). Xem Triển khai chính sách để biết các chiến lược ghi lại các tập hợp dữ liệu đánh giá.

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_policy \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --display_data=true \
  --task="Your task description" \
  --duration=60