热门搜索
-
按数据来说，每年S赛都会有一支LPL队伍翻车！今年会是谁呢？
距离英雄联盟S13全球总决赛开幕，只剩下几天的时间了。拳头总算是赶在开赛前，官宣了本届全球总决赛的主题曲《登神》以及其MV...
游戏资讯 2023-10-19 03:31:32 -
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
李开复：AI进入2.0时代，所有应用都会被重写一遍
衡宇发自凹非寺量子位|公众号QbitAIAI2.0是绝对不能错过的一次革命，它会是一个平台级别的趋势，超过移动互联网十倍。这是创新工场董事长兼CEO李开复说出的惊人之语...
智能设备 2023-03-17 10:30:04 -
剧版《美末》不是为了模仿游戏观众每一集都会流泪
顽皮狗工作室发文透漏，剧版《最后生还者》不是为了模仿游戏，观众每一集都会落泪。顽皮狗表示，剧版《最后生还者》不是为了模仿游戏，剧中情节与人物关系节奏很紧，观众每一集都会落泪...
游戏资讯 2022-12-03 16:25:11 -
分析师预测：明年四款iPhone15都会有灵动岛功能
9月19日消息，供应链分析师罗斯·杨（RossYoung）在推特上表示，他预计苹果公司明年会将灵动岛功能将扩展至所有四款iPhone15机型上，而不再限于Pro机型。目前只有iPhone14Pro和iPhone14ProMax支持灵动岛功能...
电信通讯 2022-09-19 07:20:15 -
2022苹果秋季发布会五大产品线猜想，它们都会出现吗？
作为全球果粉的狂欢日，2022年苹果秋季发布会预计将在9月上旬举行。随着时间越来越靠近9月份的苹果秋季发布会，市面上关于苹果产品的消息也愈加繁多...
手机互联 2022-08-15 12:31:53 -
库克做梦都会笑醒!华为全力培育的5G市场:最终让苹果捡了个大便宜
【11月15日讯】相信大家都知道，随着各大知名市场调研机构纷纷公布最新的2021年3 季度的统计数据，原本超越了苹果的小米，这次又再次被苹果反超，苹果在第三季度实现了大丰收，同比暴涨20.8%，继续排名全球第二。并且苹果在总营收方面，3季度也达到了惊人的833.6亿美元（5338.5亿元），同比增长29%，而利润高达206亿美元（1319.2亿元），同比增长62%，其中iPhone手机的营收就达到了388.7亿美元（2489.3亿元），同比增长47%，不得不说，自打苹果推出5G手机以来，国产手机厂商的日子似乎就开始变得“难过起来”，尤其是在国产手机老大哥—华为倒下以后，苹果在中国市场，毫不夸张地说绝对是大丰收，苹果在大中华地区的净营收达到了惊人的145.63亿美元，同比增长达83.27%，增长幅度远高于任何一个国家和地区，就连美国大本营都没有如此出色的表现...
电信通讯 2021-11-15 10:41:58 -
英国大都会警方破获1.14亿英镑加密货币赃款，约十亿元
IT之家 6 月 27 日消息英国警方周四表示，大都会警察局 (MPS)在一起洗钱调查中查获了一笔价值 1.14 亿英镑（约合 10.24 亿元人民币）加密货币。 MPS 表示，这是英国有史以来最大的加密货币赃款，也是全球最大的加密货币扣押事件之一...
智能设备 2021-06-27 09:19:13 -
曝联发科4nm旗舰芯片将量产：OV小米等品牌都会用
芯研所6月24日消息，联发科凭借天玑系列5G芯片得以在5G时代有着更高的市场份额，据博主@数码闲聊站爆料，联发科明年上半年的旗舰处理器基于4nm工艺制程打造，由台积电代工，OPPO、vivo、小米等厂商都会开案使用。芯研所采编联发科天玑4nm旗舰芯片有望会采用Cortex X2、A79、G79之类的全新架构，能在性能、续航等方面带来更加强劲的表现...
手机互联 2021-06-24 07:34:42 -
杨利伟：神舟十二号以后任务都会有女航天员；意大利有条件批准使用华为5G设备
1、最高法：积极参与反垄断法、电子商务法等法律修订工作，引导互联网健康发展 最高人民法院昨日下午召开新闻发布会。据中证网，最高法下一步将积极参与反垄断法、电子商务法等法律的修订工作，认真研究起草有关反垄断、反不正当竞争的司法解释...
电信通讯 2021-06-01 11:17:30 -
Facebook：有特朗普声音的内容都会被删除
澎湃新闻记者 南博一美国社交媒体脸书于当地时间3月31日删除了一段美国前总统特朗普的采访视频，并表示在其平台和Instagram（脸书旗下软件）上发布的“带有特朗普声音”的内容都将被删除。据悉，该视频是特朗普的儿媳拉拉·特朗普（Lara Trump）对特朗普的采访，并发布在她的脸书主页上...
互联网 2021-04-02 11:17:32 -
马云：企业家放弃理想或只谈理想员工都会看不起你
（原标题：马云：企业家只谈理想或放弃理想，员工都会看不起你） 近日在湖畔大学2020春耕会辩论赛上，马云称，企业家精神就是相信，不管再困难，有时候战术层面上，确实需要往后退一退，但千万不要放弃心中这个理想，放掉了你的员工会看不起你，但只谈理想，也会看不起你。 #endText .video-info a{text-decoration:none;color: #000;} #endText .video-info a:hover{color:#d34747;} #endText .video-list li{overflow:hidden;float: left; list-style:none; width: 132px;height: 118px; position: relative;margin:8px 3px 0px 0px;} #entText .video-list a,#endText .vid...
互联网 2020-06-08 18:52:05
