F1 RL — 3D 세대 학습 분석

v12 → v19 · 신물리 전환 · 챔피언 v15 · 재학습 3연속 실패 · 풀 3D 시대 ·

v15
종합 챔피언 (ZS완주 100%·멈춤 0%)
3연속
재학습 네거티브 (v14·v16·v17)
v18
풀 3D · ZS 273㎞ 신기록
v19
가파른 3D · 실제완주 75% 역대최고

01 세대별 진화 — v12부터 무엇을 바꿨나

v11까지는 "더 좋은 주행"을 좇았다. v12부터는 물리·환경 자체가 바뀐다: 신물리(v13) → 챔피언 정제(v15) → 3D 도입(v18+). 각 행은 직전 대비 바꾼 한 축.
핵심 패턴: v14·v16·v17은 모두 "정책을 재학습해 더 좋게" 시도했고 전부 챔피언 v15에 못 미쳤다. 정답은 재학습이 아니라 환경/물리 한 변수 교체였다 — v15 정책에 강화조향 물리(CAR_F1_V16)만 주니 모나코가 재학습 없이 풀렸다.

02 전 세대 평가표 — held-out 일반화

ZS = 학습에 안 쓴 랜덤 생성맵(zero-shot). 실제완주 = 모나코/스즈카/야스/베가스 평균. 배포 여부로 챔피언 계보를 표시.
v12–v18 수치 = 당일 compareModels/compare3D 평가 및 학습 로그. v19는 학습 완료 후 자동 합류(현재 학습 중). v16/v17은 모델 자체가 v15에 미달해 미배포(비교 전시용).

03 두 개의 큰 교훈

교훈 A · 멀쩡한 정책은 재학습하지 마라

v14(5변수 동시변경)·v16·v17 모두 v15보다 퇴화. 재학습은 도박이고, v15는 이미 역대 최강이었다. 모나코 멈춤조차 학습 문제가 아니라 조향 물리 한계였고 — v15 정책 + 강화조향 물리로 즉시 해결. 환경/물리 1변수 교체 ≫ 정책 재학습.

교훈 B · 새 관측은 그게 필요한 환경에서만 빛난다

v18은 28차원으로 전방 경사/뱅크를 "본다". 그런데 완만한 3D(≤15%)에선 v15(못 보는 차)와 완전 동률 — 경사가 약하면 "못 봐도" 충분히 통과한다. 관측 이점은 맹주행이 깨지는 가파른 지형에서만 발현 → 그래서 v19(~23% 경사)를 만든다.

04 풀 3D 시스템 — 어떻게 동작하나

절대 제약: 구세대(v1–v17)는 구물리 유지(평탄 트랙서 비트 동일), 신세대(v18+)만 3D를 관측·학습. 3D 힘은 차가 아니라 트랙 데이터(고도/뱅크)에서 나온다.

물리 (외력 분기)

Fx −= m·g·sin(grade) // 오르막 감속
ay −= g·sin(bank) // 뱅크 미끄럼

평탄(grade=0/bank=0)에선 분기로 기존 경로 보존 → 골든 비트 동일(평탄 3종) · 3D state diff 2.2e-16.

관측 (28차원)

기존 20차원 + 전방 4지점 grade + 4지점 bank = 28. 정규화 0.15/0.35(서빙 전역상수와 일치). 가파른 23%는 채널이 포화되지만 "가파름 임박" 신호는 유지.

지형 생성기 (v19 신규)

아크길이 도메인 합성(웨이포인트 밀도 무관 균일 경사) + raised-cosine 피처. 5개 스타일:

rollingvalleyamphitheaterrollercoasteralpine

보상 파밍 수정

v18 1차런서 3D 내리막을 후진으로 굴러 속도보상 파밍(dist −610m·return +1127). 근본: 역주행 가드가 v1부터 "스텝당" 판정이라 죽어 있었음 → backward 누적 + 전진 게이트로 수정.

05 v19 핵심 실험 — 완만 vs 가파른 3D

동일 물리(CAR_F1_V16)에서 held-out 3D 각 10개. 완만(≤15%)에선 맹주행도 통과(v18 발견) → 가파른(~23%)에서 v19가 벌리는지가 3D 관측 이점의 직접 증거.
가설은 완전히 닫혔다(급변 실험까지). ①가파른 매끄러운 3D → 맹주행 100%. ②급변(블라인드 크레스트, grade 변화율 1.9×)에서조차 맹주행 v15가 100% 완주·멈춤0%·이탈0% — v19와 차이 없음. 이 sim에서 경사 관측은 무용지물: 중력 분력(23%=2.4 m/s²)이 제어력(엔진 20·브레이크 40 m/s²)보다 작아 반응 주행이 항상 충분하고, 수직 동역학(크레스트 그립 상실)이 없어 "미리 봐야 할" 상황이 안 생긴다. ③그래도 v19는 역대 최강: 완만 3D 100%/멈춤0%/272㎞(전세대 90%/8%/249㎞)·평탄 실제완주 75%·멈춤14%·monaco✅ 회복(v15/v18=50%/26~39%/74%/6%). 이 향상은 관측이 아니라 "학습 분포가 가파른 스타일3D로 리치해진" 덕분 — 재학습 네거티브 3연속(v14/16/17)을 v19가 처음 깼다. 3D 관측을 의미있게 하려면 수직 동역학(크레스트→바퀴 뜸→그립 상실)이나 훨씬 약한 차가 필요 — 별도 방향.