こんにちは、NESTING新神戸です☆

もうすぐクリスマスですね🎄
ネスティングではクリスマスツリーを飾りました♪

通所してきた子どもたちはクリスマスツリーを見て
「ツリーある！！！」と嬉しそうにしていました☆

これからみんなで飾りつけをしたいと思います✨ https://t.co/5Nn6gltuq2 November 11, 2025

Amber Nest｜アートフレーム
飾る・しまう・残すをひとつに。
最大200枚収納の新しいフレーム✨
12/1〜 Makuake にて先行公開📷
今ならLINE登録で初日限定クーポンもらえる！
👇詳しくはコチラをチェック
🔗https://t.co/3PEa90bsns
#マクアケ #Makuake #子育てママ #インテリア #思い出整理 https://t.co/XcmMd7q8a3 November 11, 2025

Amber Nest｜アートフレーム 飾る・しまう・残すをひとつに。 最大200枚収納の新しいフレーム ✨12/1〜 Makuake にて先行公開。 📷
今ならLINE登録で初日限定クーポンもらえる！
詳しくはコチラをチェック👇
🔗https://t.co/3PEa90bsns
#マクアケ #Makuake #子育てママ #インテリア #思い出整理 https://t.co/qsu0SPSvGk November 11, 2025

昨日nestの入口で見かけたのコレか
あのグループ☆にしてはハコ小さすぎん？って思ったけどこれだけキレイな緑一色は素晴らしい景色だね
あ、自分はCrest行ったんですが🙄 https://t.co/tCRqXS5u0f November 11, 2025

あー慣声のペンライト美品で出てる！2回しか使ってないって羨ましすぎない？？欲しいよぉ〜😭

SixTONES OneST 慣声の法則 ペンライト
https://t.co/1dZd43Opp5 November 11, 2025

illusions1さんが「貧乏はお金持ち」（橘玲）を読んでいます。進捗: 328/374ページ (88%) #読書記録 #ReadNest https://t.co/rVizChC1ND November 11, 2025

勘違いをしていました。
Macも対応していました。
いい感じにデスクへ向かえています。
開発元のNestopi 様、ありがとうございます。
強制力なくデスクへ行く事ができています。
感謝。 https://t.co/70kbfRpaGd November 11, 2025

お腹すいた？
野菜炒め食べる？
#RIONESTA　#VRChat ＃コロネちゃんかわいい https://t.co/Vq0Kf23Pp8 November 11, 2025

胸元のベルはOtter's nestさんが
制作してくださいました🔔✨

なんとこのベル
硬貨で作られているんですよー！

こだわりが詰まっていて
とても素敵なので
ぜひオッターさんの投稿も
ご覧いだけたら嬉しいです🤍
https://t.co/0d7Ds9YJR4 November 11, 2025

Google Research刚发的这篇论文,可能会改写AI的未来 🧵

《Nested Learning: The Illusion of Deep Learning Architectures》

NeurIPS 2025,很多人说这是「Attention is all you need V2」。

我读完后,觉得这个比喻不夸张。

先说个反直觉的事实:
你现在用的所有AI,GPT也好,Claude也好,Gemini也好,都有个致命问题——它们根本不会学习。

听起来很扯,但这是真的。

你可能会说:"胡扯,我明明能跟它对话,它还能学会我教它的东西。"
对,但那只是短期记忆。

就像你在沙滩上写字,潮水一来,字就没了。

关掉对话,重开一个,它对你的所有了解都清零。

现在的大模型是这样工作的:

预训练 → 冻结参数 → 推理

训练结束的那一刻,模型的「大脑」就被永久锁死了。

之后的所有对话,都只是在这个固定大脑上做模式匹配。

ChatGPT的「记忆功能」?

那是RAG技术,本质是给AI配了个外挂笔记本。

每次对话前,它先翻笔记:"哦,这个用户喜欢喝咖啡,对Python感兴趣。"

然后假装记得你。

但它的神经网络?纹丝不动。

这就是论文要解决的核心问题:catastrophic forgetting。

灾难性遗忘。

一个AI模型学了新东西,就会忘掉旧东西。

所以现在的做法是:干脆不让它学新东西,全靠预训练时塞满知识。

但人脑不是这么工作的。

你每天都在学新东西,但不会忘掉怎么走路、怎么说话。
为什么?

因为人脑有个牛逼的设计:多时间尺度的学习系统。

神经科学发现,大脑有不同速度的学习层:
• 快层:处理即时信息,秒级更新
• 中层:整合经验模式,小时到天级
• 慢层:形成长期记忆,周到月级

快层变化,慢层稳定,所以你能学新技能又不会失忆。

Nested Learning的核心创新,就是把这个机制搬到AI里。

论文提出的HOPE架构,实现了真正的「多频率参数更新」:

有些参数每步都更新(快层)
有些参数几百步更新一次(慢层)
不同频率的参数,负责不同时间尺度的学习。

具体怎么做的?

HOPE引入了Continuum Memory System(CMS):

把模型的记忆系统拆成多个模块,每个模块有自己的更新频率。

就像你的工作记忆、语义记忆、程序记忆,各自按不同节奏运行。

这个设计带来了什么?

一个能真正成长的AI。

它跟你对话时:
• 表层快速理解你说的话
• 中层逐渐理解你的偏好和习惯
• 深层慢慢形成对你的长期认知

而且这些认知是刻在参数里的,不是写在笔记本上的。
效果如何?

论文在1.3B参数规模测试,HOPE vs. 一众SOTA模型:
• Transformer++
• RetNet
• DeltaNet• Titans

结果:HOPE在语言建模和推理任务上平均分最高。
更牛的是长上下文表现。

"needle in a haystack"测试(在长文本里找信息):
HOPE的准确率明显高于标准Transformer和现代循环模型。

困惑度(perplexity)也更低。

但这篇论文的意义,远不止性能提升。

它提出了一个全新的视角:
深度学习的深度,不应该只是网络层数,更应该是学习算法本身的深度。

把架构设计和优化过程统一起来看。

论文把优化器(SGD、Adam)重新定义为关联记忆模块。

反向传播?也是一种记忆压缩机制。

Transformer的注意力?同样。

整个模型,就是一个嵌套的优化问题系统。

这个框架打开了新的设计空间:

不再只是堆更多层、加更多参数。

而是设计更深的学习算法——让AI能在不同时间尺度上学习,就像人脑一样。

想象一下未来:
你的AI助理,真的在跟你相处中成长。

不是靠外挂数据库假装记得,而是它的神经网络在真实地演化。

第一天它是个新手,一年后它真的懂你了。

当然,论文也承认了局限:
HOPE目前还是1.3B规模的proof of concept。

能不能scale到百亿、千亿参数?

训练成本会增加多少?

这些都是待解决的工程问题。

但方向是清晰的:

从静态知识库,到动态学习系统。

从模拟记忆,到真实神经可塑性。

从工具,到伙伴。

AI的下一个十年,可能就在这个方向上。

如果Transformer定义了AI的现在,
Nested Learning可能定义了AI的未来。

不是取代,是进化。
论文地址在评论区 November 11, 2025

Nested Learningは、現在のニューラルネットワークは異なる更新速度を持つ複数の学習モジュールが入れ子状に組み合わさったシステムとみなせることを示す。具体的には更新速度が速いものから、

Attentionのメモリ、RNN状態
パラメータ更新（通常の学習）
オプティマイザの状態
学習則そのもの

となる。これらはそれぞれが固有の目的関数を最小化する最適化を行っているとみなせる。

この知見に基づき、HOPEとよばれるアーキテクチャを提案。HOPEは複数の更新周波数を持つMLPブロックを持つ連続メモリシステムを持ち、。各MLPブロックは一定ステップごとにだけ更新され、高頻度に更新される層は短期記憶、低頻度更新層は長期記憶に対応する。また、自分の情報を参照する部分は注意機構ではなくTitanを元にした機構を利用する。
さらに標準の勾配効果法ではなく、データ依存の前処理付勾配降下法を利用する。これも上記の異なる速度での更新に対応している。

340M~1.3Bで実験した結果、HOPEは言語モデルでTransformerを上回る他、他のタスクでも性能改善し、継続学習でも忘却が少ないという利点がある。

コメント
===
Titanの著者らの後続研究。論文中にアーキテクチャの詳細や学習詳細が提示されていないため、（完成版をarxivに出すと発表している）詳しくはわからない上に、各コンポーネントがどのような役割を果たしているかのアブレーションがないため、本当に効果があるかはまだわからないが、構想自体は野心的で興味深い。 November 11, 2025

Amber Nest｜アートフレーム
飾る・しまう・残すをひとつに。
最大200枚収納の新しいフレーム✨
12/1〜 Makuake にて先行公開📷
今ならLINE登録で初日限定クーポンもらえる！
👇詳しくはコチラをチェック
🔗https://t.co/3PEa90bsns
#マクアケ #Makuake #子育てママ #インテリア #思い出整理 https://t.co/qXivBCSzgE November 11, 2025