Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent2023-06-02
雷特科技将于2023年6月6日解禁120 0万股，占总股本比例3 08%，解禁比例一般，解禁股类型是首发战略配售股份2023-06-02
5月31日，早上8时左右长沙开福区双河湾幼儿园家长们陆陆续续将孩子送到门口“意外”却发生了幼儿园地理位置2023-06-02
2023 06 0209：00华夏基金：解盘一刻2023 06 0210：00富国基金：恒生医疗：创新，资本，国际2023 06 0211：00南方基金郑2023-06-01
1、姑苏十碗面五芳斋：五香排骨面苏州金阊区山塘街141号松鹤楼：卤鸭面苏州平江区太监弄72号(2023-06-01
三穗县气象台2023年6月1日7时44分发布雷电黄色预警信号：预计未来3小时我县八弓、良上、雪洞、款场等乡镇（2023-06-01
明天上午8点半，NBA总决赛将正式开打。今天，掘金主帅马龙接受了记者采访。他说道：“这是激励我们每个人的2023-06-01
原标题：湘江源头茶飘香 湖南蓝山第二届百叠岭采茶节开幕（王杨 杨雄春 彭华）2023-06-01
现在天气是越来越热了，我们这时候做饭是真的很难受，就像是在桑拿房似的，再加上做饭的时候会产生不少的油2023-06-01
山东省政府新闻办举行新闻发布会，介绍开展消防重点领域大排查大整治，为人民生命财产安全保驾护航有关情况2023-06-01
大家好,小万来为大家解答以上的问题。宋天，关于宋天介绍这个很多人还不知道,现在让我们一起来看看吧！1、z2023-06-01
主动告知最新惠企政策，“划重点”宣传汽车促消费活动，辖区35家车企借助政策红利销售汽车1000余辆，销售额2023-06-01
中国自主开发设计油轮外高桥口岸首航出海---中新网上海6月1日电新造国产自主开发设计油轮“赛弗里斯(SEFERI2023-06-01
相信目前很多小伙伴对于汉正街服装批发市场都比较感兴趣，那么小搜今天在网上也是收集了一些与汉正街服装批2023-06-01
股东信息显示，该公司由汪小菲、北京麻六记酒店管理有限公司分别持股80%、20%2023-06-01
化州一家企业被征收土地闲置费200多万元！,征收,化州市,不动产权,土地闲置费,不动产确权,闲置土地认定书2023-06-01
1、武继烈，男，汉族。2、1946年2月生，江苏句容人，1979年1月入党。3、1964年2月参加工作，江苏省农业技2023-06-01
塞尔达传说王国之泪一心之弓是很多人想要知道怎么获取的，王国之泪是塞尔达的最新力作，游戏里迎来了非常大2023-06-01
中安在线、中安新闻客户端讯 一年一度的中高考即将来临，为给考生营造一个良好学习生活环境，近日，合肥市2023-06-01
神舟有新知丨增强现实技术+陆空多机位神十六发射精彩画面是这样拍摄出来的2023-06-01
每经AI快讯，最高人民检察院今天（6月1日）发布《未成年人检察工作白皮书（2022）》，梳理了对未成年人检察2023-06-01
1、单纯白内障手术的总费用，包括检查费、手术费、治疗费，大概在5500元左右。2、这个费用不包括人工晶状体2023-06-01
>>业绩承诺方不履行补偿义务多家公司起诉“讨债” 伴随着年报季的结束，不少上市公司陷入“并购后遗症”2023-06-01
5月31日，赣州市工商联（总商会）五届四次执委会议召开。会议深入学习贯彻党的二十大精神，总结2022年工作2023-06-01
5月31日北向资金增持64 02万股丽尚国潮。近5个交易日中，获北向资金增持的有4天，累计净增持120 99万股。近2023-06-01
