Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
(资料图片仅供参考)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了2023-06-11
据市交通委指挥中心介绍，受天气影响，17时58分起，崇明公交申崇七线、2023-06-11
“蔚来预计二季度营收、车辆交付量均下降。”2023-06-11
u盘内容被隐藏怎么办win7，u盘内容被隐藏了怎么办这个很多人还不知道,2023-06-11
相信大家对湖北移动宽带移机怎么办理，移动宽带移机怎么办理的问题都很2023-06-11
1、梦想，梦境，梦寐。2、梦幻，梦见，梦游。3、梦乡，梦呓，梦话。4、2023-06-11
1、公园座椅尺寸一公园座椅尺寸的第一种就是钢木结合的靠背座椅，这种2023-06-11
果实累累造句子，怎么用果实累累造句很多人还不知道，现在让我们一起来2023-06-11
来为大家解答以上的问题。明确的近义词是什么词，明确的近义词是什么这2023-06-11
1、甘肃三本院校排名(排名越靠前越好)西北师范大学知行学院兰州商学院2023-06-11
月10日消息，软件巨头微软计划以690亿美元收购游戏开发商动视暴雪（Act2023-06-11
暗黑4永生威能是很多暗黑玩家都关注的，暗黑4是最新才发售的暴雪力作，2023-06-11
6月9日，保健酒上市公司海南椰岛发布公告，公司董事长王晓晴及独立董事2023-06-11
今天（9日），大唐西藏扎拉水电站主体工程正式开工建设，项目配备首台2023-06-11
伊藤美诚戴奥运金牌回母校，豪言：巴黎夺冠！79岁爷爷为她立碑！,国乒,2023-06-11
来为大家解答以上的问题。一坊app官网下载，一坊直播入口网址这个很多2023-06-10
近日，江西“高校食堂吃出疑似老鼠头”事件持续发酵。记者发现，目前，2023-06-10
刘亚仁涉嫌吸食8种以上毒品被移送至检察机关2023-06-10
《古惑狼大乱斗》将在本月正式发售时同步推出。在最新发布的路线图中，2023-06-10
加盟皇马之后，皇马的中场阵容将空前强大，且聚拢的都是青年球员，未来2023-06-10
来为大家解答以上的问题。眼睛充血怎么快速消除冷敷，眼睛充血怎么快速2023-06-10
1、做化疗需要多少复钱不制能一概而论，而是要取决于患者的具体病情、2023-06-10
6月9日，广州白鹅潭万象城举行奠基暨动工仪式，标志着广州首座万象城建2023-06-10
日前，以体育运动为主题的2023年第二十届里昂领事节在里昂百乐果广场隆2023-06-10
6月9日，最高人民法院、最高人民检察院、公安部三部门起草了《关于依法2023-06-10
