Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
【资料图】
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf
2.https://arxiv.org/pdf/2301.05217.pdf
标签：
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
工人伪造劳动合同公章，提交劳动仲裁要求给付十六万八，可以报警
新规出台：取消“老年卡”，专家：好消息，有补贴,政府,退休金,公交卡,老年卡,特权卡,优待证
1、网游之修罗传说2：天辰作者：火星引力简介：南皇之剑——斩星，破碎星辰。2、北帝之弓——灾厄，遥破苍
化身库里“吸血鬼”，这样的克莱越来越让人看不懂了,格林,科尔,勇士,普尔,疯狂,吸血鬼,美国篮球,斯蒂芬·库里
5月9日，2023年上海市全民数字素养与技能提升月启动仪式在嘉定区举行。此次提升月以“数字赋能全民共享”为
映象网讯（大象新闻记者李亚林通讯员陈怡平）5月13日，随着发令器响起，参加男子公路精英组（82公里）比赛
2023年5月9日上午，为帮助老师更好地应对学生在学习和生活中遇到的困难与挑战，成都市成华实验小学校在校领
大数据文摘出品作者：Caleb推特的“闹剧”还在继续。3月6日，当推特用户像平常那样打开APP后，却发现很多推
《经典咏流传·正青春》海报。新京报讯5月14日，中央广播电视总台大型音乐文化节目《经典咏流传·正青春》
川观新闻记者钟帆张庭铭摄影报道近段时间以来，有不少家长向四川日报全媒体“问政四川”平台反映：知名机器
1、伤心、伤害、伤口、伤风、冻伤、伤亡、伤痕、忧伤、伤感、创伤、受伤、感伤、烫伤、工伤、伤寒、伤逝、
今天来聊聊关于静电发生器多少钱一台，静电发生器原理图的文章，现在就为大家来简单介绍下静电发生器多少钱
1、1 田弘光（吴尊）2 雷克斯（唐禹哲）3 汪大东&王亚瑟（汪东城&辰亦儒）4 丁小雨（炎亚纶）13 煞姐（黄小柔）1
360集团创始人周鸿祎与百川智能创始人兼CEO王小川日前在央视财经《对话》节目中，谈到了ChatGPT以及不会用G
据《足球报》报道，中超第7轮深圳队主场对阵大连人的比赛中场休息时，主教练陈涛和作为老球员姜至鹏都向队
亚汇网从说明会上得知，中科创达发布全新的人工智能基础大模型系列和应用产品路线图。其中，RUIK基础平台（
在部分市场，如英国，特斯拉仍在销售ModelS和ModelX车型，但不再接受新订单
“项目突破视频领域多项关键技术，为城市公共安全及民生服务领域提供智能应用基础支撑，目前已在全国多地落
(记者苏墨)2023中国网络表演(直播与短视频)行业年会日前在京举行。数字技术深刻改变着文化产品的生产方式和
IT之家5月13日消息，饿了么今日宣布，全国500余家苹果授权专营店即日起将陆续登陆饿了么。消费者可以通过饿
阅读点关注，军营不迷路。近日，央视《青春大课》邀请董宇辉，在中国传媒大学做了一次演讲。演讲过程中，主
1、这袜子也不脏呀，明显不是没穿鞋，可能是把鞋脱了要么就是别人背着来的。2、袜子没有碰到地，至于不穿鞋
作为vivo旗下定位主流市场的产品序列，Y系列一直以来凭借着在产品端的出色表现和极为亲民的定价策略，受到
Tourbox发布全新控制器配套软件改善摄影创作流程,摄影,控制器,tourbox
1、第00话狼与琥珀色的忧郁选自小说第七卷注：原作小说第七卷是短篇小说集与故事剧情联系不大 第01话狼
你需要的东西帆布背衬铅笔白色工艺胶泡沫油漆刷彩色工艺砂漏斗（可选）勺子清漆（可选）彩色沙子倒入漏斗沙
中新网哈尔滨5月13日电(记者刘锡菊)13日，哈尔滨市第45届商品房展销会启幕。此次展销会以“线上+线下”的方
1、爱我想再久也不回来2、一个人的球场没我在你会不会觉得有点怪3、猜我讨厌的习惯你有没有改4、没有我们这
华商网社会万象频道，全面展现百姓生活、以新闻、评论与图片、社会资讯等多种形式，报道您的身边事。
Copyright © 2015-2022 每日服装网版权所有 备案号：浙ICP备2022016517号-15 联系邮箱：5 146 761 13 @qq.com
意大利海空军F-35战机同时登上加富尔号航母 
