Datawhale干货
(资料图)
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《EmergentAbilitiesofLargeL2023-04-19
图为安全生产专题会议。覃贵瑶摄今年以来，广西柳州市鹿寨县烟草专卖局采取多项有力举措，坚持盯紧靠牢、抓实抓细安全生产工作，夯实安全生产2023-04-19
1、其他垃圾包括餐巾纸、卫生间用纸、尿不湿、拖把、抹布、一次性筷子、烟蒂、大骨头、硬贝壳、硬果实、毛发、砖瓦陶瓷、渣土等难以回收的废弃2023-04-19
国家发改委：下一步，将研究合理缩减外资准入负面清单。目前，我们正在评估过去几年外资准入负面清单的实施效果，深入了解地方和外资企业在扩2023-04-19
“上塔前检查好自锁器等安全防护措施，塔上总指挥密切监视吊件并配合地面人员指挥。”4月13日，在1000千伏福州—厦门特高压交流工程1标段L0012023-04-19
甘肃国联项目管理咨询有限公司受平凉市儿童福利院的委托，对平凉市儿童福利院食堂原辅材料供应商资格入围采购项目进行采购，评标专家于2023年42023-04-19
据不完全统计，截至2021年江苏省企业职工人均养老金约为3422元，其中2022年养老金上调比例为4%，那么2023年会涨多少？2023年，江苏省养老金和工资将2023-04-19
黄河新闻网吕梁讯为进一步提高群众交通安全意识和遵规守法意识，营造文明出行的良好氛围，4月18日，柳林交警大队组织宣传民警走进龙腾苑小区开2023-04-19
部分电影概念股早盘上扬，截至发稿，猫眼娱乐(01896)涨5 65%，报9 17港元；阿里影业(01060)涨1 89%，报0 54港元；IMAX中国(01970)涨1 8%，报8 48港元。2023-04-19
《华尔街日报》4月18日消息，高盛CEO苏德巍在周二与分析师举行的电话会议上说，高盛已启动探索出售专业贷款公司Green2023-04-19
生机盎然的春日，位于津南区海河教育园区的天开智慧小镇起步区内塔吊林立、机器轰鸣，600余名施工作业人员正在加紧建设，一派热火朝天、朝气蓬2023-04-19
04月18日，斯达半导获沪股通增持7 92万股，最新持股量为1628 46万股，占公司A股总股本的9 53%。2023-04-19
庞革平陆华勇广西崇左——“预青专干”守护青少年健康成长《人民日报》（2023年4月19日第11版）本报南宁4月18日电（庞革平、陆华勇）“如果有2023-04-19
App4月19日消息，进入4月份，数据要素政策法规不断涌现，地方政府竞相布局，抢抓数据要素市场发展机遇。公开信息显示，广东、武汉、烟台等地纷2023-04-19
“新能源汽车相关展位人气火爆，广汽埃安、比亚迪、理想、小鹏等‘造车新势力’展位人头攒动，想好好拍点照片还真不容易。”4月18日，在2023第2023-04-19
经济暖意渐浓。一季度，我国GDP同比增长4 5%，为实现全年发展预期目标奠定了较好基础。今年以来，我国经济加速复苏，生产需求企稳回升，发展动2023-04-19
4月18日，中国电信（601728）融资买入4 13亿元，融资偿还4 03亿元，融资净买入1018 28万元，融资余额12 39亿元。2023-04-19
美国洛杉矶时间4月17日，电影《盟约》举行首映式。杰克吉伦哈尔、艾米丽比查姆、达尔萨利姆、杰夫法努夫、泰勒赫布尔、查德博哈奇出席，2023-04-19
1、这年头儿，庶女要奋斗，庶子要夺嫡。身为嫡子，好像除了做炮灰已经别无他用了。明湛却觉得自己连做炮灰都2023-04-19
出品|搜狐汽车·E电园摄像|马龙剪辑|林亚梦主持人|蔡欣宇编辑|蔡欣宇仰望U8最近是风头正劲，但这台车好像看上去更猛一些，没错我们今天带大家2023-04-19
欧冠1 4决赛，皇马两回合4-0淘汰切尔西，AC米兰两回合2-1淘汰那不勒斯，皇马与米兰率先晋级欧冠四强。欧冠1 4决赛次回合剩余两场对决将在明日2023-04-19
小米13Ultr编程a手机正式发布android，小android米1javascript3Ultr编程客栈a将徕卡理念带入移动光学新时代，整套的徕卡影像系2023-04-19
应用场景及生态圈持续完善数字人民币从“尝鲜”到“常用”：据证券日报，近日，苏州市住房公积金管理中心推出《苏州住房公积金数字人民币场景2023-04-19
2023全球元宇宙大会在京召开四大运营商齐聚数智中国科技周首日2023-04-19
德安县气象台发布雷电黄色预警信号【III级 较重】2023-04-19
