2024 IEEE Conference on Artificial Intelligence (CAI), Singapore
LG Electronics AI Lab
TL;DR
Delayed Online Update는 실제 세탁기 운전 데이터와 continual offline reinforcement learning을 결합해 세탁물 시나리오를 모두 수동 규칙으로 작성하지 않고도 탈수 구간의 load balancing을 개선합니다.
Overview
Problem
현대 세탁기는 여러 운전 조건에서 세탁물 균형을 유지해야 합니다. 수동 시행착오 중심의 튜닝은 배포 이후 제어 성능을 빠르게 개선하는 데 한계가 있습니다.
Approach
본 논문은 세탁기 모터 제어를 위한 continual offline reinforcement learning workflow를 제안하며, 누적된 transition data와 delayed online update를 활용해 distribution shift 위험을 줄입니다.
Outcome
탈수 구간에서 서로 다른 세탁물 조건을 포함한 실험을 통해 균형 유지 성능 개선을 보고합니다.
Method
- 실제 세탁기 운전에서 transition data를 수집합니다.
- 탈수 구간 모터 제어를 위한 offline RL policy를 학습합니다.
- 새로운 online interaction data를 delay window 동안 누적합니다.
- 짧은 online rollout마다 즉시 반응하는 대신 확장된 dataset으로 policy를 갱신합니다.
선택된 laundry task에서 offline/online data coverage 비교.
Results
Average Success Rate
평가한 laundry task 전반에서 DOU variant가 baseline보다 높은 평균 success rate를 보입니다.
Multi-Task Laundry Set
Multi-task evaluation에 사용한 대표 laundry configuration입니다.
Unseen Tasks
Generalization 평가를 위한 unseen laundry combination입니다.
Production Device
Offline RL control approach가 적용된 production-ready target device입니다.
Videos
Supplemental motion example.
Naive rule-based baseline motion.
Proposed learned motion.
Poster
Citation
@inproceedings{kang2024dataDrivenRLWasher,
title = {Data-Driven Reinforcement Learning for Optimal Motor Control in Washing Machines},
author = {Kang, Chanseok and Bae, Guntae and Kim, Daesung and Lee, Kyoungwoo and Son, Dohyeon and Lee, Chul and Lee, Jaeho and Lee, Jinwoo and Yun, Jae Woong},
booktitle = {Proceedings - 2024 IEEE Conference on Artificial Intelligence (CAI)},
pages = {418--424},
year = {2024},
doi = {10.1109/CAI59869.2024.00083}
}