当前位置: 首页 > 中国星空网 > 风格 > 内容页

大语言模型中的涌现现象是不是伪科学? 全球微动态

2023-04-30 12:46:09 来源:程序员客栈

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士

今天晚上,花了一点儿时间看了两篇文章:


【资料图】

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

标签:

网红

更多

猜你喜欢

更多
大语言模型中的涌现现象是不是伪科学? 全球微动态 跟着CVC去投资,稳赚还是被割韭菜?_看热讯 广州楼市分化,买房合适最重要! 资讯 每日消息!九龙福黄金价格今天多少一克(2023年04月30日) 2023南京国际车博会正式开幕,与蔚来共同开启愉悦|环球关注 环球快报:fc忍者神龟3金手指怎么开(fc忍者神龟3金手指) 环球讯息:兴业银行的交流会 《漫长的季节》沈墨黑化详细内容-全球要闻 “感受到五星红旗的温暖与力量”-今日热讯 天天最新:德甲提醒:拜仁慕尼黑体能存忧 柏林赫塔防守不佳 确保“黄金四分钟”!36名医师跑者为荣成马拉松保驾护航 新疆博乐市第五届海棠文化旅游节开幕 三年后中国智能家居市场规模有望达453亿美元,目前国内渗透率仅13% 当前头条 环球快资讯丨大连理工大学研究生院(大连理工大学在什么地方) 【明日方舟】德克萨斯 循迹 天天精选 岸田正协调5月7日起访韩,并与尹锡悦会谈|世界独家 【时快讯】一汽-大众高尔夫20周年纪念版售价15.37万元起 全球看热讯:41岁演员孙博病逝,好友透露死因是肝癌,最后露面照曝光 前沿资讯!五一假期首日服务区充电站排队时长榜来了:充电要等2.7小时你接受吗? 仲父起就坐的意思_仲父 2023年厦门大学美术类专业拟招生计划-天天观焦点 天天短讯!回文序列题目_回文序列 英国为什么会吸引这么多的留学生? 每日讯息 春天在哪里的串词_舞蹈春天在哪里串词-环球观天下 微动态丨4个工具,让 ChatGPT 如虎添翼! 环球资讯:预计2.4亿人次出游 五一首日景区开启人从众模式 深化文旅产业合作交流 大香格里拉旅游环线推介会在云南丽江举行 那不勒斯发推纪念33年前夺队史意甲第二冠:培育梦想,一如当年 世界头条:胎菊的功效与作用菊花有什么区别_胎菊的功效 今日runningman下架了吗_runningman下架_全球即时看 携程网订机票电子发票包含保险吗 携程网订机票 全球快资讯:当兵后悔两年不当兵后悔一辈子_不当兵后悔一辈子 当前速递!肺疼是哪个位置图片_肺疼是哪个位置 北京楼市怎么了?倒挂楼盘遇疯狂“打新” 置换业主却卖不动二手房 业内:警惕“剃头挑子一头热” 今日要闻!求求长沙了,赶紧学一下淄博吧 每日速看!借条几年过期_借精生子 环球视讯!“天下长安——陕西唐代文物精华展”亮相天博 TWITTER Gravel X 砾石公路车测评 环球聚焦:事业部是什么意思_事业部是什么意思 平板电脑与笔记本电脑的区别在哪里_平板电脑与笔记本 5月1日12时,2023年度日照海洋伏季休渔开始!|环球时快讯 世界微资讯!「不要慌」石家庄市治疗牛皮癣的医院排名「医生亲诊」石家庄市银屑病专科医院 【世界新视野】flash怎么修复4399 flash怎么修复 A股白酒上市公司年报出炉:茅台营收净利再居第一,行业面临去库存压力 2023上海车展:新款宝马X5 M实车亮相 浐灞十八小开展教师读书分享活动 最新:五一假日 玩转“非遗” 月经推迟几天算正常吗_月经推迟几天算正常 “天津港工业游”活动助力津滨双城文化旅游产业发展_全球简讯 2020个人账户养老金计发月数怎么算(个人账户养老金计发月数是怎么计算的) 每日视点 飞利浦推出新款24.5寸游戏显示器:280Hz高刷、0.5ms极速响应 环球视讯 全球时讯:天天视讯!焦点速读:全球观热点:全球聚焦:每日热讯!第一章——小德牧 每日动态_世界观速讯 环球短讯!苹果ipad可以用微信吗(ipad可以用微信吗) 观天下!观潮的螃蟹丨监督权“钢钢的”,呵护娄底“软”环境 天天讯息:中甲-广州vs四川九牛首发:凌杰、布格拉汗先发,帕尔曼江替补 中天金融去年净利润同比减少150%,财报被出具无法表示意见 世界热讯 想做“灌篮高手”吗?“五一”来这里热血球场重燃青春! 焦点播报 中东欧国家“曝光度”提升的背后 “订”向种果蔬 “单”纲“菜篮子”——龙潭区棚膜经济发展见闻 环球微动态 嫤语书年 笔趣阁_嫤 环球热文 上了年纪后,比身材走样更可怕的是“发腮”,显老10岁都不止|当前视点 当前聚焦:横断山脉地形图片_横断山脉地形图 一年了,那些“刘畊宏女孩”怎么样了? 宁德时代钠电池,引发外媒关注!|世界球精选 环球微头条丨曼联官宣加纳乔5万周薪续约5年!下周有望重返赛场,不参加世青赛 一句简短的风景朋友圈_一句简短的风景句子 终极斗罗:魂环颜色之争,古月娜排名第二,第一名众望所归_新动态 环球报道:美媒:美韩“核协议”对美“只是空洞的胜利” 「一城一酒」净利首破10亿元!酒鬼酒“调节奏”,行业去库存考验区域酒企 环球今日报丨交通运输加快恢复开局良好 海南召开庆祝“5·12”国际护士节表彰大会 快消息!通辽职业技术学院护理怎么样招生简章 天天亮点!日产“轩逸两厢版” 国内曝光!日本售价约15万人民币 演唱会、展览、戏剧、公园活动……“五一”假期快来解锁北京文化之旅!_全球快报 致敬劳动者!烟火里的工位有多酷 每日短讯:q235b和q345d的区别(q235b和q345b的区别) 天天快消息!《忍者必须死3》2023年4月29日礼包兑换码领取 环球观速讯丨should it matter 中文歌曲_should it matter 【全球报资讯】确保市民游客假期顺畅出行 西安交通信号灯开启“假日模式” 首都师范大学信息技术专业怎么样教育的心理 焦点速读 山东科技大学网络工程专业_网络工程专业出来做什么|今日讯 拘役处罚是刑事吗?怎么判? 全球资管机构积极加仓A股:QFII一季报新进329股,最青睐三大行业 我省多条国际客运航线复航 目前从湖南可直飞10个国家 天天视点 税率60%!最牛楼市调控政策出台-即时焦点 不惧锂价下跌,下游去库,Q1天齐锂业毛利率不降反增 | 见智研究|天天短讯 环球滚动:歌行(关于歌行介绍) 部分从苏丹撤离中方人员乘包机启程回国 魔兽世界怀旧服其拉尖刺刀柄需要多少声望_其拉尖刺刀柄需要声望 精彩看点:specify是什么意思_specify 微头条丨曲美家居(603818)2023年一季报简析:净利润减265.3% 高反免疫的实力派选手 试驾欧尚Z6 2.0T 天天快资讯:东方通信:一季度净利同比增145.69% 歌舞升平 NHANES美国营养数据库, 最近一周有哪些新的论文?(4.24) 新中华教科书_关于新中华教科书简介 当前通讯 【世界播资讯】糖类抗原ca15-3正常值范围_糖类抗原CA159结果是6.34属于正常吗 防止裙子被风吹起妙招_怎么防止裙子被风吹起妙招 山西美丽田园美容有限公司 各种各样的房子简笔画中班_各种各样的房子简笔画 世界滚动

直播

  1. 今头条!腾讯手游助手电脑版下载安装(腾讯手游助手电脑版)

    今头条!腾讯手游助手电脑版下载安装(腾讯手游助手电脑版)

  2. 【时快讯】深圳市顺丰快递电话号码(深圳顺丰快递的电话号码)

    【时快讯】深圳市顺丰快递电话号码(深圳顺丰快递的电话号码)

  3. 天天视讯!木耳熬汤(meat)

    天天视讯!木耳熬汤(meat)

  4. 看热讯:南烟斋笔录小说txt资源(南烟斋笔录小说txt)

    看热讯:南烟斋笔录小说txt资源(南烟斋笔录小说txt)

  5. 焦点速读:日文是什么意思中文(日文是什么字上下)

    焦点速读:日文是什么意思中文(日文是什么字上下)

  6. 动态焦点:锦城丝管日纷纷半入江风半入云此曲只应天上有人间能得几回闻(锦城丝管日纷纷半入江风半入云)

    动态焦点:锦城丝管日纷纷半入江风半入云此曲只应天上有人间能得几回闻(锦城丝管日纷纷半入江风半入云)

  7. 环球报道:五分裤男(五分裤)

    环球报道:五分裤男(五分裤)

  8. 前沿热点:驱赶喜鹊妙招(驱赶)

    前沿热点:驱赶喜鹊妙招(驱赶)

  9. 每日消息!求一些工藤新一最帅的照片和他的简介。

    每日消息!求一些工藤新一最帅的照片和他的简介。

  10. 焦点关注:发达国家在经济发展过程中最大的问题是什么(发达国家在经济发展过程中最大的问题是)

    焦点关注:发达国家在经济发展过程中最大的问题是什么(发达国家在经济发展过程中最大的问题是)