Smart
Robots
Design DEPARTMENT OF ENGINEERING
TOHOKU UNIVERSITY
Robots
Design DEPARTMENT OF ENGINEERING
TOHOKU UNIVERSITY
PCC–JEPAをなぜ
二段階で評価するのか
仕組みを切り分けてから、公開モデルで確かめる
制御サロゲート → 公式チェックポイント
制御サロゲート → 公式チェックポイント
SRD
同じPCCを、役割の違う2つのモデル段階に当てる
STAGE 1 / MECHANISM
制御サロゲート
小さな2次元Wall環境と、実験内で学習する世界モデル。表現・候補・幾何を制御し、PCCの計算が狙いどおり働くかを切り分ける。
採用理由: 変数を固定し、仕組みそのものを短時間・再現可能に検証できる。
STAGE 2 / TRANSFER
公式チェックポイント
公開済みJEPA-WM / DINO-WMの重みと設定を固定して使う。実際のRGB潜在表現でも同じ診断が成立するかを測る。
採用理由: 公開モデル上で再現性を確かめ、適用範囲を評価できる。
制御サロゲート = PCCを切り分ける小さな世界モデル
既知の2次元Wall環境で、想像軌道から制約違反リスクを取り出すまでを4つの実装単位に分ける。
01 / INPUT2次元状態
位置と行動を既知の幾何として与える。
02 / WORLD MODEL8次元潜在を予測
encoder() と trainPred() で次状態を学習。
03 / PROBE200点で (x, y) 復号
rollout() の想像軌道へ線形プローブを接続。
04 / PCC壁横断リスクを計算
開口部から外れる最大量を候補ごとに採点。
採用理由モデル・幾何・候補生成を固定でき、PCCの計算と順位付けの効果を別々に検証できる。
呼称: 実装上の名称は
controlled surrogate（制御サロゲート）。PCC機構を検証するための代理世界モデル。
公式チェックポイント = 公開済みモデルを固定して使う
公開済みの重みと設定を固定し、同じPCCをRGB潜在表現へ接続する
OFFICIAL ASSET / FIXED
公開物をそのまま固定
facebookresearch/jepa-wmsjepa_wm_wall/dino_wm_wall- commit固定 + SHA-256で重みを照合
PCC ADAPTER / OUR IMPLEMENTATION
同じ診断を接続
- 単一RGBフレームをencode
- 候補行動を
model.unroll() - 200点の線形プローブ → (x, y) → PCC
採用理由JEPA-WMとDINO-WMという異なる公開表現で、診断と順位付けがどこまで移るかを同じ条件で比較できる。
公式モデルで見えた主因は「選び損ね」
- 同じ候補バンクを全件実行し、失敗を2つへ厳密に分解
- 青=良い候補はあるが選べない
オレンジ=良い候補が無い - 5条件中4条件の壁横断層で順位付けの失敗が主成分
- 次に改良すべき場所は、候補生成より選択スコア
二段階評価で、結果の意味と改良対象を分けて読める
01候補生成
02想像
unroll
unroll
03線形復号
04PCC
05再順位付け
CONTROLLED SURROGATE
仕組みを検証する
既知幾何の下で、復号・制約スコア・再順位付けが意図どおり働くかを切り分ける。
OFFICIAL CHECKPOINTS
公開表現への移り方を測る
JEPA-WM / DINO-WMのRGB潜在でも同じ診断を適用し、失敗の所在を特定する。
実装根拠:
run_experiment.mjs / counterfactual_audit/run_official_audit.py