オフライン
0post
2025.12.01 08:00
:0% :0% （30代／男性）
人気のポスト ※表示されているRP数は特定時点のものです
強化学習ではスケールによる創発はこれまでみられてなかった。今回、対比強化学習と1000層にも及ぶ深いネットワークを組み合わせることで、スケールによって大きな性能向上が達成し、様々な能力を創発できることが示された。NeurIPS 2025のベストペーパーの一つに選ばれている。
この研究では、対比RL（Contrastive Reinforcement Learning）を使っている。これは報酬は疎（ゴールに到達したら1をもらえて、それ以外は0）、デモデータは不要な手法である。
方策は現在の状態sとゴールgの両方を入力として受け取る。
π(a | s, g)
対比RLはactor-criticに基づく手法であり、criticは状態・行動とゴールがどれだけ一致するかを評価、actorはcriticを最大化するような行動を選択するように学習する。
criticは、「今の状態sでその行動aをとった時、それがゴールgに向かう良い行動か」を評価する。具体的には状態・行動ペアの埋め込みと、ゴール埋め込みのL2距離の形で定義される。
f(s, a, g) = ||Φ(s, a) - Ψ(g)||^2
Φ(s, a)：状態・行動埋め込み
Ψ(g)：ゴール埋め込み
CriticはInfoNCE目的関数で学習する。バッチ内で同じ軌跡内の正例と、別の軌跡から得られた別の目標g'を負例として、分類学習する。このように強化学習を回帰ではなく分類問題として扱うことがスケール化時の安定化でクリティカルと指摘されている。
ActorはCriticを最大化するように更新される。つまり、Criticが、「今の行動をとることが目標に向かっている」と判断する行動を選ぶように学習する。
InfoNCEは、従来のRLで使われていたTD学習で必要な未来状態の理解を分類問題で代替し、TDの不安定性を回避することで大規模化を成功させたといえる。
従来のネットワークは4ブロックのResNetを利用するが、今回は各ブロック内のdenseLayerを通常の4から64まで増やしたネットワークで検証した。一番大きい実験では256（256*4=1024）まで増やしている。
ネットワーク深さを増やすと、ロボット操作タスクでの性能は2~5倍、迷路系タスクでは20倍、ヒューマノイド系タスクでは50倍の性能改善がみられた
このような性能改善は従来RLではみられなかったものである。
また、深さを増やしていった時、性能は滑らかに改善するのではなく、ある臨界点を超えると突然大きく更新されているのがみられた。
例えば、ヒューマノイドタスクでは深さ4の時は転びながらゴールに向かって体を投げていたものが、深さ16で直立歩行が学習される、深さ256では体を折りたたんではね超えるといったような、これまで報告されていない複雑なスキルが創発されていることが確認された。
今回のスケーリングで重要だったこととして、まずバッチサイズは大きいほどよいことが確認された。バッチサイズは256では足らず、1024や4096が必要だった。これはInfoNCEの負例サンプルが十分ないと未来分布を正確に識別できるような表現がえられないためといえる。
またネットワークの幅と深さを比較すると、深さの方がはるかに効果的であることがわかった。深さにおいてもネットワークのなかではCriticの状態・行動ペアとゴールの埋め込みネットワークの両方を伸ばした時が重要であることがわかった。このように対比RLでは、Criticが重要であり、ActorはCriticの誘導に従いさえすればよいことが示された
また、探索ノイズの有無で性能はほとんど変わらず、今回深さによる未来予測・表現能力の向上が性能向上に起因していることがわかった。
今回うまくいった対比RLはスケール化で性能向上できるだけでなく、従来のRLと比べて次の利点がある
・ブートストラップがなく安定する
・目標が固定
・Q学習のoverestimation（ノイズによって実際よりも良いと誤解した行動をとる）問題がない
・デモを必要としない
コメント
===
対比RL自体は数年前から提唱されていたものだが、今回はネットワークを深くすることで様々な能力が創発し、大きく性能向上されることが示された。
また、今回得られるCriticは非常に応用範囲が広く、汎化することも重要である（直前のサツケバーのコメントにも関連）。このCriticは様々なタスクを意図せず学習する際に、重要な役割を果たしていくだろう。Criticゴール到達予測器というよりも「汎用の未来状態予測器」（今の状態でどの行動をとったら、最終的にどうなるのか）といってもいいのではないだろうか
結果はインパクトが大きいが、まだよくわかっていないことが多い。まず、なぜネットワークの深さをここまですると性能があがるかについてはよくわかっていない。Deep Priorの論文や生成モデルの一部のpaperではdense層の数を非常に多くすると大きな性能向上が達成できるとされた。今回も通常では考えられないほど増やしている。ここまで増やした場合に性能が出るという部分は表現力だけでなく最適化問題としても特徴がでてくるのだと思われる。
また、スケール化による性能向上は、この対比強化学習の枠組みで現れ従来のTD手法では改善がみられないこと、またオフライン環境では効果がみられないこと（予備実験までだが）から、まだ何が決定的な要因なのかの理解にいたっていない。 December 12, 2025
5RP
2025年12月2日(火)午後10時00分頃から
Destinyサーバーのバックグラウンドでの
メンテナンスから始まり､オフラインを伴う
サーバーメンテナンスが行われます🛠
12月3日(水)午前0時55分頃に
プレイ中のアクティビティから
強制的にログアウトさせられます。
全プラットフォームで事前ダウンロードが
12月3日(水)午前1時00分頃から可能です｡
ファイルサイズが大きい為､添付画像の
必要空き容量をご確認ください｡
全国でメンテナンスが完了する
12月3日(水)午前2時00分頃までは
プレイできませんのでご注意ください💠
※上記の記載時刻は(JST 倭国標準時)です｡
Destinyサーバーのダウンタイムは
急遽変更となる恐れがありますので
ゲーム内で何か目的がある場合は
極力時間に余裕を持ってDestiny 2を
プレイいただくようお願いいたします｡
メンテナンスの進行度合い等の状況により
終了予定時刻が延長される場合があります｡
@BNGServerStatus
の更新にご注意ください｡
#Destiny2 #予言の年 #反逆 December 12, 2025
3RP
拙作「君といっしょなら。」についてですが、
この度、東大マダミスサークル様にて
オフライン公演化が決定しました！！
それに伴い、現在調整中のセッションを持ってBOOTHでの公開を終了とさせていただきます。
よりたくさんの方に楽しんでいただけますように
進めてまいります！
#君といっしょなら December 12, 2025
2RP
昨日は時間は短かったけど杏さんチャージできて良かったよ。でももう会いたくなっちゃった🥺杏さんに会いたい💜
杏さん大好き💜
2025.11.30オフライン特典会品川
#杏ジュリア
#超ときめき宣伝部 https://t.co/CVyKV3eRuJ December 12, 2025
2RP
[〇〇〇]が「オーバーウォッチ」のプレイを開始しました [〇〇〇]がオフラインになりました
この通知を消す方法
①ソーシャルタブを開く
②フレンド通知の表示 OFF
これでお気に入りに加えてるフレンド以外は通知が来ない。逆に通知来て欲しい人はお気に入りに加えると良いです。 https://t.co/YItNdX5MD0 December 12, 2025
1RP
／
📢fweeバスPOPUP終了感謝イベント🚌💛🩵
＼
みなさん、１ヵ月間fweeバスPOPUP'旅するストア'にお越しいただき、
誠にありがとうございました！
2万人を超えるたくさんの方々にお越しいただき
大盛況のうちに終えることができました✨
感謝の気持ちを込めて特別なイベントを準備しました👏🏻
この投稿をRTしてくださった方の中から抽選で、
POPUPで一番人気だった話題の🩵下地 02 リッチグロウ💛と、
相性ぴったりの’フィークッションガラスオリジナル’をプレゼントします🎁
🩵参加方法
① fwee公式アカウントをフォロー
② この投稿をいいね
③ この投稿をリポスト🔃
✨この投稿を引用RTして、POPUPで撮った写真を一緒に投稿すると当選率UP！
👉🏻ハッシュタグ必須 【fwee下地】
💛注意事項
- 非公開アカウントは対象外となります
🤫売り切れ常連の「02 リッチグロウ」は、現在オフライン店舗にて販売中！
ぜひfwee下地をお試しください！
※順次発売のため、在庫がない店舗もございます。
※取扱店舗：倭国国内フィーアジト・ロフト・プラザ・ショップイン・アットコスメ・ハンズ December 12, 2025
1RP
12月2日（火）7:00〜
鉄拳8新ver検証配信します。
これまで色んなキャラの解析・検証をしましたが、
"構え技を最初に調べるべき"
という事に気づきました。
昨今の鉄拳キャラは構え移行技が増えていて、そこからシンプルな二択を掛けられるキャラが多いです。
構えからの技を最初に検証しておく事によって、技後に構えに移行できる通常技の価値が計りやすいです。
「ヒットで+8だから派生技に対して相手のRAが発生しない」
「ガードで-1だからPCでしか相手の反撃に対応できない」
などが直感的にわかる様になります。
ミアリズはどうやら構えらしきものがあるので、構えからの技を徹底的に検証してから通常技検証に移行する予定です。
また新ステージも検証には使用しません。未知のオブジェクトによる凸凹が足元に存在する可能性があります。
また、検証を数時間した後にはRyuichiが来てくれるので、メンテ明け前にオフラインでのミアリズのミラーマッチをやってみます。
その対戦の様子である程度キャラ対を覚えられると思うので有利に立ち回れるかもしれません！
お待ちしております🙌
12月2日（火） 7:00〜
https://t.co/FnAsvRVBtP December 12, 2025
1RP
【おさるマーケ講座@osaruproducer の作業会】に参加！🎅
皆さん発信内容は違えど『倭国を良くしたい、元気にしたい』という想いと実力がある人で溢れてる環境。
おさるさんはリアルでもお一人お一人に向き合って下さいます。
海外の最先端のマーケ状況や思考も惜しみなくシェアして下さいました。
オフラインだからこそ聞ける事、体験できる事があると実感。
なんと、、、
12/6 からいよいよおさるさんのヤバすぎるgive企画がスタート！！
全発信者見逃せない！非常に楽しみです！ December 12, 2025
@quunplant オープンでオンライン忘年会して欲しい…
そういう業界の方々と知り合える機会なんて無いからなぁ…
オフラインだと予約人数とかもあるけど、オンラインなら無さそうだなぁと。
youtubeとかでquunplant忘年会！とかでライブ配信でもいいから… December 12, 2025
𝟣𝟧期終わってしまった🥹
あっという間の𝟦ヶ月間。
#キャリぱれっと イベントへご参加いただいた皆さま、改めてありがとうございました🎨💓
何より素敵すぎるみんなに出会えて嬉しかったな🥰
今月オンラインでもオフラインでも会えるの楽しみ🎄🫶🏻
#シーライクス December 12, 2025
オフラインモード、無事に完成すると良いですね
データを保存しておいて、クソネット環境の悪いところでも使えるようにする機能ですよ。
詳細な仕様はまだ検討中ですが。
基本的には、これで、ネット環境が最悪でも大丈夫というわけです。
無敵ですね https://t.co/p3wAFW0MTy December 12, 2025
＼ ウォレットgiveaway ／
OneKey @OneKeyHQ ハードウェアウォレット ブラックフライデーセール開催！
公開する前に自分の資産を守りましょう🛡️
セール期間に買うと倭国円換算で最大14,000円以上お得になるチャンスです✨
セール期間：11月28日〜12月2日 23:59（倭国時間）
☝単品購入 → 15%OFF
✌️バンドル購入 → 25%OFF
🤟先着で限定ギフト（OneKeyステッカー＋オリジナルスリーブ）もプレゼント中※なくなり次第終了
💡クーポンコード：BF25
カートで入力するだけで即適用！
公式ストアはこちら → https://t.co/vmJlZCD9zZ
また倭国ユーザー限定！ブラックフライデー記念プレゼント🎁
**OneKey pro（定価39,800円 相当）**を1名様に無料プレゼント！
この投稿をRT＆リプで参加するだけで、
セールと一緒に当たるチャンス！！
参加方法（30秒で完了）：
1 @OneKeyHQ
@LN33897484 をフォロー
2この投稿をRT
3リプに「#OneKeyBF2025」と書いて気合いを入れるだけ！
⚠️締切：12月3日（火）23:59
当選者には12月4日にご報告します✨
dmにて送付先住所確認します
OneKeyを選ぶ理由
✅MetaMaskが正式にエアギャップ（QRコード）接続対応 → 完全オフラインで安全署名
✅Solanaメッセージ署名もバッチリ対応
✅YZi Labs（旧Binance Labs）＋Coinbase VenturesのW投資
RT、フォローだけで参加できるので気軽に応募してください🙌
#OneKey #ハードウェアウォレット #ブラックフライデー #仮想通貨 #Bitcoin #Ethereum #Solana #OneKeyBF2025 December 12, 2025
楽団V!VO、月1になって待ちに待った練習会が終わったと思ったら次が近すぎかつオフラインでしかもボイドラまできて準備してないところに急に爆弾きた。ボイドラもオフラインもセラフさんソロも楽しみすぎる。月1になっても裏で何回か合わせ練してるって偉すぎ。皆が音楽にガチなところ本当に好き。 December 12, 2025
やばい！aespaのArmageddonラキドロトレカ4枚、現地購入だって♡ 羨ましすぎるわー！
aespa アルバム ARMAGEDDON オフライン ラキドロ トレカ ②
https://t.co/fQyGkMSTVn December 12, 2025
水瓶座の貴方へ
12月の運勢
「共鳴」の刻を迎えます。
これまで、少し孤独を感じながらも、
理想の未来を追いかけてきた貴方。
12月、ふと横を見れば、
貴方と同じ熱量で明日を見つめる「仲間」たちが、いつの間にか集まっています。
この時期は、貴方の頭の中にある「未来の地図」が、
現実世界へと書き出されていくタイミングです。
ユニークな発想や、ちょっと変わったこだわり。
そのすべてが「才能」として認められ、多くの人を惹きつける磁力になります。
8日以降、「愛の星」が貴方のもとへ近づきます。
頑張らなくても、ただそこにいるだけで愛される。
貴方の個性が「魅力」として輝く、無敵のモテ期の始まりです。
中旬以降は、「繋がりを選び直す時間」。
群れに合わせるのではなく、「この人たちと一緒に未来を作りたい」と思える仲間を大事にしてみてください。
オンライン・オフラインを問わず、心がワクワクするコミュニティに足を運ぶのが◎
月の後半は、新しいプロジェクトや計画に声がかかったり、自分から声をかけていく展開も。
仕事では、「新しいやり方」や「効率化のアイデア」が鍵。
古いルールにただ従うのではなく、
「もっと良くできるかも」と感じたことは、周りに提案してみてください。
IT・Web・コミュニティ運営など、ネットワーク系の分野にも追い風が吹きそうです。
恋愛では、「友達みたいに付き合える相手」に注目。
肩書きや形式にとらわれず、素のままの貴方でいられる相手との関係が、
じわじわと恋へと変わっていくかもしれません。
「こんな未来があったら面白くない？」と、一緒に夢を語れる人を大切に。
金運は、「分散」と「オンライン」にツキあり。
情報収集をしながら、小さく試してみるスタンスが◎。
サブスクやキャッシュレス決済など、デジタルまわりの整理・見直しも、思わぬ節約につながりそうです。
ラッキーアクションは「未来を語ること」。
「こんなことがしたい」「こんな世界になったらいいな」と、思い切って口に出してみて。
その言葉に共鳴して、驚くような助っ人が現れます。
ラッキーアイテムは「最新のガジェットとアロマ」。
最先端の技術に触れながら、心を鎮める香りに包まれて、
貴方らしいバランスで感性を研ぎ澄ませていきましょう。
貴方が描く未来は、
決して夢物語ではありません。
それを現実に変えるための
知性と仲間は、すでに揃っています。
恐れずに、その大きな地図を広げてください。
その中にはもう、
貴方の居場所がちゃんと記されています。
良い12月を。
#水瓶座 #星座占い December 12, 2025
＜ポストの表示について＞
本サイトではXの利用規約に沿ってポストを表示させていただいております。ポストの非表示を希望される方はこちらのお問い合わせフォームまでご連絡下さい。こちらのデータはAPIでも販売しております。
＜関連記事＞
倭人速報公式アカウント
