名人名言



简体     繁體

名人名言佳句

名人作者分类 人才 人生 人格 人类 儿童 女人 工作 工业 友情 友谊 天才 心理 气质 失败 民主 民族 生活 企业 名誉 成功 自由 自然 行为 利益 志向 男人 言行 言谈 言谈方式 体育 事业 奉献 宗教 法律 社交 社会 金钱 青年 青春 信仰 保健 品格 思想 政治 流言蜚语 科技 科学 美丑 修养 家庭 真理 健身 婚姻 情感 教育 理想 理财 富裕 智慧 善良 善恶 集体 勤奋 愚蠢 道德 愿望 管理 管理目标 个性 乡愁 军事 农业 创新 动物 劳动 历史 历史研究 团结 国家 处事 奖赏 妇女 娱乐 学习 实践 时间 爱情 经营 聪明 艺术 节约 语言 语言思想 语言艺术 读书 谦虚 贫穷 进步 风度 骄傲

深度学习中的 Grokking 现象 - 知乎 这一现象被称为 Grokking。 Grokking 的行为模式明显不同于传统“训练误差下降—泛化性能同步改善”的直觉，也无法简单归入经典的“过拟合—早停”图景，因此通常被视为一种 延迟泛化现象（delayed generalization）。 Grokking (machine learning) - Wikipedia Grokking can be understood as a phase transition during the training process [5] In particular, recent work has shown that grokking may be due to a complexity phase transition in the model during training [6] [2201. 02177] Grokking: Generalization Beyond Overfitting on Small . . . In this paper we propose to study generalization of neural networks on small algorithmically generated datasets In this setting, questions about data efficiency, memorization, generalization, and speed of learning can be studied in great detail 探究 Grokking：岭回归中可证明的 Grokking | alphaXiv 本研究提供了一个理论框架，正式证明了过参数化岭回归中“顿悟”(grokking)现象，展现了早期过拟合、长期泛化不良和最终良好泛化的三阶段过程。该研究定量展示了超参数设置，特别是小权重衰减和特定样本量，如何放大这种延迟泛化，并且这些定性依赖关系也延伸到非线性神经网络。 Grokking现象｜机器学习中的记忆与泛化边界 - 知乎 “Grokking”为我们打开了机器学习的新视角，揭示了模型从记忆到泛化的神奇过程。 这一发现不仅增强了我们对模型行为的理解，还为未来的研究和应用提供了宝贵的启示。 Grokking Explained: A Statistical Phenomenon - arXiv. org Grokking, or delayed generalization, is an intriguing learning phenomenon where test set loss decreases sharply only after a model’s training set loss has converged This challenges conventional understanding of the training dynamics in deep learning networks 什么是顿悟 (Grokking)？理解深度学习泛化 | Ultralytics Grokking 是深度学习中一个迷人的现象，指神经网络在训练了非常长的时间后——通常是在看起来已经对训练数据过拟合很久之后——验证准确率突然出现大幅提升。 与性能逐渐提升的标准学习曲线不同，Grokking 涉及一种“相变”，模型从记忆特定示例转变为理解可推广的模式。 这一概念挑战了传统的“早停”智慧，表明对于某些复杂任务，特别是在 large language models (LLMs) 和算法推理中，坚持训练是解锁真正智能的关键。 Grokking 的过程通常分为两个不同的阶段，这可能会让依赖标准 experiment tracking 指标的从业者感到困惑。 Grokking - GitHub Pages Grokking, or delayed generalization, is a phenomenon where generalization in a deep neural network (DNN) occurs long after achieving near zero training error Previous studies have reported the occurrence of grokking in specific controlled settings, such as DNNs initialized with large-norm parameters or transformers trained on algorithmic datasets 机器学习中的Grokking现象解析与优化策略-CSDN博客 从技术原理看，Grokking与参数空间的傅里叶分析密切相关，表现为权重矩阵的频域稀疏化和相变特征。 在实际工程中，这种现象对模型训练策略提出了新的要求，包括调整学习率调度、优化器选择和监控指标等。 AI「领悟」有理论解释了，谷歌：两种脑回路内部竞争，训练久了突然不再死记硬背-36氪 谷歌PAIR团队不久前撰文介绍了AI的 “领悟” （Grokking）现象—— 训练久了突然不再死记硬背，而是学会举一反三，有了泛化能力。 不出一个月，另一只团队（主要成员来自DeepMind）表示，已经给出一个 通用理论解释 —— 领悟又称 延迟泛化，与AI内部两种“脑回路”的竞争有关。 对此，有学者评价“我们需要更多这种对 深度学习物理规律 的研究，而不是去优化 炼金术。

名人名言分类 佚名 谚语 巴尔扎克 歌德 高尔基 佚名 莎士比亚 培根 爱因斯坦 鲁迅 罗曼·罗兰 苏霍姆林斯基 雨果 契诃夫 泰戈尔 爱默生 列夫·托尔斯泰 马克思 爱迪生 奥斯特洛夫斯基 富兰克林 毛泽东 马克·吐温 卢梭 西塞罗 萧伯纳 列宁 赫尔岑 伏尔泰 华罗庚 李大钊 别林斯基 狄德罗 席勒 陶行知 亚里士多德 茨威格 黑格尔 居里夫人 巴甫洛夫 克雷洛夫 罗素 纪伯伦 郭沫若 达尔文 徐特立 车尔尼雪夫斯基 马克吐温 塞涅卡 柏拉图 希特勒 斯宾塞 叔本华 蒙田 屠格涅夫 苏格拉底 马卡连柯 邓小平 李奥贝纳 巴金 贝弗里奇 洛克 加里宁 戴尔·卡耐基 贝多芬 康德 达·芬奇 巴斯德 乌申斯基 卢棱 卡耐基 拿破仑 恩格斯 孟德斯鸠 托尔斯泰 雪莱 （英国）谚语 毛泽东（中） 谢觉哉 普希金 周恩来 朱熹 司汤达 贺拉斯 尼采 （法国）谚语 罗兰 毛姆 （前苏联）苏霍姆林斯基  罗斯金 德谟克利特 夸美纽斯 池田大作 拜伦 梁启超 三毛 培根（英国） 海涅 冈察洛夫 李四光 斯大林 拉罗什富科 莱辛 《对联集锦》 弗·培根 狄更斯 陀思妥耶夫斯基 赫胥黎 罗曼.罗兰 福楼拜 罗斯福 M·梅特林克 莫洛亚 吴玉章 （哈萨克族）谚语 卡莱尔 松下幸之助 阿法纳西耶夫（苏） 伽利略 列宁（苏） 莫泊桑 牛顿 司各特 凯洛夫 布莱克 孙中山 哈代 林肯 邓拓 冰心 雷锋 蒙田（法）《随笔集》 爱尔维修  MRMY.NET收集 易卜生 门捷列夫 法拉第 萨克雷 朗费罗 帕斯卡 吴运铎 郭小川 大仲马 奥维德 孙中山（中） 歌德（德）《歌德的格言和感想集》 茅盾 塞万提斯 但丁 孙武（春秋） 张志新 罗丹 圣西门 海塞 蔡元培 王尔德 方志敏 布鲁诺 果戈理 拉布吕耶尔 华盛顿 斯特林堡 萨迪 邹韬奋 惠特曼 P·德鲁克（美） 乔叟 兰姆 （欧洲）谚语 报摘 布莱希特 爱献生 薛瑄 萨迪（波斯）《蔷薇园》 卡斯特（美） 丁尼生 《五卷书》 薄伽丘 司马光（宋） 书摘 保罗 莫罗阿 斯宾诺莎 （朝鲜）谚语 德谟克里特 伊壁鸠鲁 伊索 肖伯纳 （德国）谚语 陶铸 杜威 茅以升 法朗士 蒙森 俾斯麦 芥川龙之介 裴斯泰洛齐 弗洛伊德 （非洲）谚语 托·富勒