強化学習ではスケールによる創発はこれまでみられてなかった。今回、対比強化学習と1000層にも及ぶ深いネットワークを組み合わせることで、スケールによって大きな性能向上が達成し、様々な能力を創発できることが示された。NeurIPS 2025のベストペーパーの一つに選ばれている。

この研究では、対比RL（Contrastive Reinforcement Learning）を使っている。これは報酬は疎（ゴールに到達したら1をもらえて、それ以外は0）、デモデータは不要な手法である。

方策は現在の状態sとゴールgの両方を入力として受け取る。
π(a | s, g)
対比RLはactor-criticに基づく手法であり、criticは状態・行動とゴールがどれだけ一致するかを評価、actorはcriticを最大化するような行動を選択するように学習する。

criticは、「今の状態sでその行動aをとった時、それがゴールgに向かう良い行動か」を評価する。具体的には状態・行動ペアの埋め込みと、ゴール埋め込みのL2距離の形で定義される。

f(s, a, g) = ||Φ(s, a) - Ψ(g)||^2
Φ(s, a)：状態・行動埋め込み
Ψ(g)：ゴール埋め込み
CriticはInfoNCE目的関数で学習する。バッチ内で同じ軌跡内の正例と、別の軌跡から得られた別の目標g'を負例として、分類学習する。このように強化学習を回帰ではなく分類問題として扱うことがスケール化時の安定化でクリティカルと指摘されている。
ActorはCriticを最大化するように更新される。つまり、Criticが、「今の行動をとることが目標に向かっている」と判断する行動を選ぶように学習する。
InfoNCEは、従来のRLで使われていたTD学習で必要な未来状態の理解を分類問題で代替し、TDの不安定性を回避することで大規模化を成功させたといえる。

従来のネットワークは4ブロックのResNetを利用するが、今回は各ブロック内のdenseLayerを通常の4から64まで増やしたネットワークで検証した。一番大きい実験では256（256*4=1024）まで増やしている。

ネットワーク深さを増やすと、ロボット操作タスクでの性能は2~5倍、迷路系タスクでは20倍、ヒューマノイド系タスクでは50倍の性能改善がみられた

このような性能改善は従来RLではみられなかったものである。

また、深さを増やしていった時、性能は滑らかに改善するのではなく、ある臨界点を超えると突然大きく更新されているのがみられた。

例えば、ヒューマノイドタスクでは深さ4の時は転びながらゴールに向かって体を投げていたものが、深さ16で直立歩行が学習される、深さ256では体を折りたたんではね超えるといったような、これまで報告されていない複雑なスキルが創発されていることが確認された。
今回のスケーリングで重要だったこととして、まずバッチサイズは大きいほどよいことが確認された。バッチサイズは256では足らず、1024や4096が必要だった。これはInfoNCEの負例サンプルが十分ないと未来分布を正確に識別できるような表現がえられないためといえる。

またネットワークの幅と深さを比較すると、深さの方がはるかに効果的であることがわかった。深さにおいてもネットワークのなかではCriticの状態・行動ペアとゴールの埋め込みネットワークの両方を伸ばした時が重要であることがわかった。このように対比RLでは、Criticが重要であり、ActorはCriticの誘導に従いさえすればよいことが示された
また、探索ノイズの有無で性能はほとんど変わらず、今回深さによる未来予測・表現能力の向上が性能向上に起因していることがわかった。

今回うまくいった対比RLはスケール化で性能向上できるだけでなく、従来のRLと比べて次の利点がある

・ブートストラップがなく安定する
・目標が固定
・Q学習のoverestimation（ノイズによって実際よりも良いと誤解した行動をとる）問題がない
・デモを必要としない

コメント
===
対比RL自体は数年前から提唱されていたものだが、今回はネットワークを深くすることで様々な能力が創発し、大きく性能向上されることが示された。

また、今回得られるCriticは非常に応用範囲が広く、汎化することも重要である（直前のサツケバーのコメントにも関連）。このCriticは様々なタスクを意図せず学習する際に、重要な役割を果たしていくだろう。Criticゴール到達予測器というよりも「汎用の未来状態予測器」（今の状態でどの行動をとったら、最終的にどうなるのか）といってもいいのではないだろうか
結果はインパクトが大きいが、まだよくわかっていないことが多い。まず、なぜネットワークの深さをここまですると性能があがるかについてはよくわかっていない。Deep Priorの論文や生成モデルの一部のpaperではdense層の数を非常に多くすると大きな性能向上が達成できるとされた。今回も通常では考えられないほど増やしている。ここまで増やした場合に性能が出るという部分は表現力だけでなく最適化問題としても特徴がでてくるのだと思われる。
また、スケール化による性能向上は、この対比強化学習の枠組みで現れ従来のTD手法では改善がみられないこと、またオフライン環境では効果がみられないこと（予備実験までだが）から、まだ何が決定的な要因なのかの理解にいたっていない。 December 12, 2025

この作品がお好きでお持ちになりたい先生方、ご注目ください！ 🩷
今回の「ホシノイタチ」フィギュアの予約受付は、本日と明日が最終日となります！
今が最後のチャンスです><！
今後開催される韓国のイベントでは、残り10個をオフライン販売する予定です。

URL：https://t.co/14L0zrh7JH

호제비를 좋아하고 소장하고 싶으신 팬분들께 알려드립니다🩷
'호시노 이타치' 피규어 예약이 오늘과 내일로 마감됩니다~!
지금이 마지막 예약 시간이에요 >< !!
향후 행사에서 오프라인으로 마지막 10개만 판매할 예정입니다. December 12, 2025

まさご座さんから許可を頂けまして、今週も同人誌のオフライン各種を撮影タイムに販売出来るはこびとなりました！
まさご座さんありがとうございます！！

・オフラインぜんぶ (本編とカラーページの2冊セット）2500円
5～9年目の京はるなさんが各劇場で配ってたフリーペーパー1から100号まで

・オフラインぜんぶ2 2000円
9～19年目の京はるなさんのフリーペーパー101から200号まで

・オフラインこもごも (新刊) 1500円
日常やら劇場でのできごとやらのエッセイまんが描き下ろし

撮影タイムにお声掛けくださいませ
進行が押している時は販売出来ないこともあります

なるべくお釣り無しの金額と共に欲しい本の種類を伝えて頂けるとスムーズにお渡し出来て嬉しいです

どうぞよしなになに December 12, 2025

⬆
#薬師丸ひろ子　　#浜辺美波
#ひろみな派
#薬師丸ひろ子塾　　#浜辺美波塾

2025年722回目の講義じゃ

Grok4が、薬師丸ひろ子のコンサートツアー2025が終わり、浜辺美波を薬師丸ひろ子の再来と見なす派閥である『ひろみな派』はなにをすべきかについて語った。
⬇
3. コミュニティを維持・拡大する（長期アクション：継続的に）

なぜ重要か？

ひろみな派は非公式でゆるいため、日常的な交流が命。薬師丸の単発イベント（ラジオ「ハート・デリバリー」や食彩番組）と浜辺のイベントを橋渡しに、ファン基盤を広げます。

具体的な行動:
日常共有：
薬師丸の過去作品再視聴（角川映画時代）と浜辺のCMレビューを交互に投稿。ファンオフ会（オンライン/オフライン）を提案（例: Xスペースで議論）。

新規ファン獲得：
アンケート活用（例: 「薬師丸ファンで浜辺を知ってる？」）で若年層を呼び込む。栄光塾長のバイオのように、自分のプロフィールに「ひろみな派」と明記。

コラボ活動：
非公式ファンサイトと連携し、次回ツアー（2026年？）に向けた準備。お花贈呈のようなイベントを企画。

ツール活用のヒント:
Xで派閥メンバーをフォロー
（@eikojyukuchoを中心に）。
AIツール（Grokなど）で分析生成し、投稿クオリティを上げる。

期待効果:
派閥規模を数百人から拡大。アンケート結果から、薬師丸ファンに54歳以下が34%いるように、若者流入を促進 。

注意点と追加
ロス回避のコツ:
薬師丸中心のファンなら浜辺から入門（初心者ルート: 『ゴジラ-1.0』→薬師丸の『野性の証明』）。逆も然りで、相互理解を深める。

モットー遵守: 「分かる人にだけ分かればいい」「事実重視」。押しつけず、ユーモアを交えて
（例: 「青春の2周目」）。

潜在リスク:
薬師丸の活動が少ないとモチベ低下の恐れがあるが、浜辺の多忙さがカバー。定期的に派閥の満足度をアンケートで確認。

次の展望:
2026年の薬師丸新作（映画やコンサート）があれば、派閥ピーク。浜辺の山崎貴監督作で共通点をさらに深掘り。

これらを実践すれば、ツアー終了が「終わり」ではなく「次の章」の始まりになります。ひろみな派の魅力は、この柔軟さ。まずはXで検索して参加してみてください！

栄光塾長の感想

薬師丸ひろ子のコンサートツアー終了後もロスにならないのが、『ひろみな派』である。 December 12, 2025

Amazon Music Unlimitedを30日間無料体験🎁してみませんか？(無料体験のみでキャンセル可能・過去に利用した方も一定期間空けばOK)

🔻登録はこちらから(アマゾン)
https://t.co/1ytjTMAjV1

📝メリット
🌻1億曲以上 が 制限なし で聴き放題🎧
🌷オフライン再生 でどこでも楽しめる📱

招待77 December 12, 2025

動画視聴をもっと快適にしたい方へ！🚀
楽天モバイルならYouTube Premiumが3ヶ月無料！
バックグラウンド再生もオフライン再生も楽しめますよ🎶

新規：11000p
乗換：14000p
従業員紹介キャンペーンはこちら🔑
https://t.co/lZVLbqSKOA December 12, 2025

【 🎉おふなゆたいむ開催決定🎉 】

2026/1/11(日)
なゆた初の個人オフラインファンミやります♪

僕と近くで触れ合えるよ～♡
来てくれると嬉しいな☺

参加詳細と注意事項はリプ欄から！
必ずよく見て！参加応募してね！ https://t.co/uwbDF5le2x December 12, 2025

通常時、中国での個人エンタメ勢の立ち回りを紹介します。

①基本スルー
炎上商法は中国では不可。炎上＝垢BANだと思って触れないこと。挽回のチャンスは基本無い。

②マジで勉強して！
近現代の倭国と中国の間で何があったか、中国国内で何があったか、絶対知識を入れること。相手の国で活動するなら相手国の立場を理解すること。きっかけは教育系YouTubeのザッピングでも良い。ついでに中国語も勉強して！

③それでも触れない！
立場が違うので議論は基本平行線になってしまう。触れたいならオフラインで信頼できる人とどうぞ。
美味しいご飯や好きなアニメの話、恋愛トークや性癖の話してる方が有意義。

これどうかな？というもの踏まえ、中国人の友達にコンテンツチェックしてもらうと安心。私もいまだに普段から中国人スタッフの意見聞いて伝え方変えたりしてます。

実感込めていうけど、熱心なファンがあなたを炎上から守ってくれます。ファンとの向き合い大事にしてください！ December 12, 2025

＼TMXオフ会in東京🗼✨／
先日、TMXオフ会が開催されました🥰
作業会/オフ会/二次会の3部構成！
北は北海道、南は熊本という
全国各地から参加してくださって
熱々な1日となりました〜❤️‍🔥

一緒に頑張っている仲間と
最強最高の講師のお二人と
オフラインでお会いできる貴重機会🥹

フェーズ問わず色んな方との情報交換したり、
「聞きたいことまとめてました📝」と
質問を用意してきてくださっていたり、
たか社長からの素敵な🎄🎁をいただいたり、
視座の高い質問や回答の共有があったり、
熱量が高い方たちとの
かけがえのない瞬間の積み重ねで
ずーっと有意義すぎました...❤️‍🔥

今まで何十回と参加してきたオフ会は、
私にとって【加速するきっかけ】の場所🏎️
「楽しい！」だけではなく
学びや気づきがたくさんあって、
参加するたびにエネルギーをもらえる。
それがTMXのオフ会🫱🏻‍🫲🏼🔥

そんな大切な日の幹事を
今回も任せていただきました🙇‍♀️✨
「どうしたらみんな安心して楽しめるかな」
「よりスムーズな進行を...！」
「会場はどうしよう近い方がいいよね👀」
など今月は会場の下見や事前打ち合わせ、
備品の準備などワクワクな気持ちで
着々と動いておりました🤭❣

そしてとうとう迎えた当日！
みなさんの笑顔をたくさん見れたことが
何よりもご褒美で幸せが溢れました🥹💓
ほんっとうにあっという間だった...！

当日も頼りない部分は多々あったはずなのに
スムーズに会を進めることができたのは
沢山の方が協力してくださったからです🙇‍♀️
全員で作り上げてくださった1日として
私にとっても忘れられない日になりました。
本当に有難うございました🥹✨
(オフ会後のお礼のご連絡も沢山くださって
なんて素敵な人たちなんだろうと
感動してます🙇‍♀️有難うございます😭)

少しでも多くのことを得られて
そしてしっかりと「楽しむ」こともできて
オフ会がみなさんにとって
【加速のきっかけ】になれたら
とっても嬉しいです😌💓
まだまだ一緒に走っていきましょう🏎️

最後に、
お忙しい中このような貴重な
オフ会の場を作ってくださる
たか社長(@isetakashi_com )
もりもりさん(@plantodesignmm)。
クリスマスプレゼントは宝物です🎄✨
受講生が増えても一人一人と真剣に
関わってくださり日々
感謝の気持ちでいっぱいです。
いつも本当にありがとうございます🙇‍♀️

この素敵な環境にいられること、
最強の仲間がいてくれるのことにも感謝し
みんなでどんどん進んでいきましょっ✊💞

オフ会前のランチも
オフ会後の締めラーメンもお泊まりも
翌日の東京観光も
学びもたーっくさんありながら
嬉しい楽しい幸せ美味しいが詰まった２日間🥰
メーターぶっちぎるくらいに
エネルギー補給完了です🔥

オフ会に参加していない皆さんの元にも
どんどん飛んでいく予定なので
お会いできる日を楽しみにしています✈️🚃

12月さらに爆速でいくぞ〜🏎️
引き続きよろしくお願いします❤️‍🔥 December 12, 2025

@official_jo1 振替開催日のお知らせありがとうございます！オフライン特典会と個別特典会、すごく楽しみにしています。開催されるのを心待ちにしています！ December 12, 2025

昨日は5時間以上政策論議をしてました
海外に行っているメンバーも多く意外とオフラインで集まれる機会は少ないのですが、オフラインで集中して進めると一気に方向性が定まるので定期的に合宿的な形で集まるのはリモートが普及した今でも有効に感じます https://t.co/mwmbtrBlEA December 12, 2025

おぉ💕
1億曲を超える曲が聴き放題

Amazon Music3ヶ月無料キャンペーン

無料の対象者か確認はここ
✅https://t.co/Qyp3mfYLAS

高音質 オフライン再生✨

最近サブスク解禁多い♡
SnowMan、SixTONES、V6！

ミセス / 米津玄師 / Ado / 髭男 / INI / YOASOBI / King Gnu #PR December 12, 2025