큰 모델·긴 학습, RL은 안 늘었다
같은 과제에서 모델만 키우거나 오래 돌려도 RL은 늘지 않았고, 늘어난 사례는 목표도 넓어진 경우였습니다.
- 걷기 정책은 1 B 스텝 동안 점수가 제자리였고, 이어서 학습 8개는 모두 시작점 이하였습니다.
- 신경망을 2배 넓히면 통과율이 83 %에서 42 %로 무너졌고, 일반 이어서 학습 4/7에 붕괴가 있었습니다.
- 작은 명령 무시는 팔로워의 최소 회전 명령으로 시뮬레이션에서 해결됩니다(48/48 대 16/48).
다음 단계
통제군, 처음부터 재학습, 넓은 신경망 전체 학습으로 효과를 비교합니다.
시드 하나의 시뮬레이션 결과이며 실제 로봇은 미측정입니다.
실험 과정·전체 자료 →