-
中国工程院院士李克强:中国自动驾驶产业化速度远超人们的预想
5月29日消息,近日中关村平行论坛“硬科技投资与发展论坛”现场,中国工程院院士、清华大学教授李克强进行主题演讲。他谈到,中国自动驾驶产业化速度实际上已经超过我们的预想,去年的L2级的装车量已经接近35%,国家层面正在从高级别的驾驶的准入,包括网联式等等在部署,快速在推进产业化...
业界动态 2023-05-29 16:08:21 -
数学论证GPT-4不是随机鹦鹉:真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理,一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论:若是如此,所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000,根据贝肯斯坦上限(Bekenstein bound)原理,如果把这些信息分配到空间当中,所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗,更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别,可以做这样的类比:如果天文学家通过历史观测记录推算出月食的周期,这可以算是统计学。但当他们总结出牛顿万有引力定律的时候,就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法,所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反,语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起,根据概率生成文本,但不清楚文字背后的任何含义,就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型,或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时,出现的联想词就能用此方法实现。具体来说,下面的三行文本中,第一行纯粹是随机生成,第二行考虑了单词在英语中整体的出现概率,第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出,随着n值的升高,文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念,就能生成像模像样的句子。据此有人猜想,GPT-4会不会也只是一种高级的n-gram呢?Bayless提出,GPT必须学会抽象才能有如今的效果,至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点,可以先看下棋机器人的例子。如果有一种下棋机器人,存储了巨量棋谱数据,对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序,如果仅通过对战而不看源码,是无法确定Stockfish是否在背谱。但实际上,包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间,根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏,因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息,n-gram模型中n值将高达8000。届时,需要存储的情景数量将达到50000^8000。正如文章开头所提到,这简直是天文数字,足以让整个宇宙坍缩。因此,GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的,因此研究人员还进行了两个实验,意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船,和狼、羊、菜,农夫要把这3样东西运到河到另一边,农夫每次最多只能通过这个船运一样东西,要防止狼吃羊、羊吃白菜(即不能在没有农夫在的情况下同时在同一岸边),该怎么过?研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料,可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”,那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答,GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子,也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序,它们究竟是只会记住给出过的数字顺序,还是真的研究出排序算法呢?其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字,并将其顺序打乱,将一共有这么多种情形:如果再考虑数字的重复出现,又或者数字的数量发生变化,根本不可能存储如此之多的情形。因此,只要GPT能够针对未知的排序问题给出正确的回答,便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT,专门让它做数字排序。结果显示,随着训练步数的增加,模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误,但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序,而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接:https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
你应该使用的iPhoneSpotlight搜索功能
iPhone 的 Spotlight 搜索功能是一个强大而且很少被充分利用的工具。除了可以用于查找应用程序、联系人和消息等基本功能外,Spotlight 还提供了一些其他有用的功能。在本文中,我们将介绍一些你可能还不知道的 iPhone Spotlight 搜索功能。1. 查找文档和文件Spotlight 可以搜索你的 iPhone 上的文档和文件。只需在搜索栏中输入文件名、关键词或文件类型,即可快速找到你需要的内容。这对于快速访问电子表格、PDF、文本文件等非常方便。2...
手机互联 2023-05-24 01:26:58 -
智见丨衣宝廉院士:燃料电池车是氢能应用的突破口
出品|网易科技《智见访谈》作者|赵芙瑶编辑|丁广胜你有多久没见过蓝天了?伴随着全球气候变暖、燃料价格上涨以及环境污染日益严重的现状,人类对更清洁、更安全、更高效能源的需求与日俱增。面对这一迫切的需求,燃料电池作为一种具有巨大发展前景的新能源备受瞩目。燃料电池凭借其清洁、高效的特点,正成为能源领域的明日之星。它不仅可以提供清洁的能源供应,减少环境污染和温室气体排放,还具备更高的能源利用效率。随着技术的不断创新和成本的逐渐降低,燃料电池有望为人类提供可持续发展的能源解决方案,助力能源结构的转型与升级。而氢能作为燃料电池的燃料,是一种来源丰富、环保低碳、广泛应用的次生能源,在构建清洁、低碳、安全、高效的能源体系以及实现碳达峰和碳中和目标方面扮演着重要的角色。2022年,国家发展改革委、国家能源局联合印发的《氢能产业发展中长期规划(2021-2035年)》中提出了氢能产业发展各阶段目标:到2025年,基本掌握核心技术和制造工艺,燃料电池车辆保有量约5万辆,足以见得国家对于氢能与燃料电池产业的重视程度。那么燃料电池发展现状如何?面对氢气运输的高成本以及加氢站的缺乏问题,我们应该采取何种对策?与发达国家相比,我们在技术方面应该如何奋起直追?网易科技《智见》专访本次通过世界新能源汽车大会科技委员会秘书处邀请到了燃料电池专家,中国工程院院士衣宝廉。数年前,一次偶然的机会,陪同所书记到北京开会并接下航天燃料电池任务,从此与燃料电池结缘。在燃料电池领域深耕多年的他,如何看待上述问题呢?以下为采访实录。加氢站降价方能与燃油车竞争燃料电池车缓解“里程焦虑”网易科技:您五十多年来一直专注燃料电池研究,您认为氢燃料电池汽车及氢能产业应用的价值到底何在?衣宝廉:要实现双碳目标,必须大力发展可再生能源,实现能源转型,由于可再生能源的波动性和季节性,为实现可再生能源安全上网,必须大力发展储能。氢储能,即用可再生能源电解水制氢,不但可以实现可在生能源储存,还可以实现可再生能源的再分配,也可以消除发展可再生能源的天花板,实现氢—电体系的能源供应,确保国家的能源安全。燃料电池车是氢能应用的突破口,理论上,可以用氢能代替燃油,驱动各种交通工具如各种车辆。大幅度减少石油进口,不但能实现交通领域碳减排,还可以提高国家能源安全性。网易科技:氢氧燃料电池与普通电池有何区别?中国发展燃料电池汽车的既有优势在哪里?您认为短板又主要体现在哪些方面?衣宝廉:燃料电池和二次电池如锂离子电池均是依据电化学原理将化学能转化为电能。但它们的工作方式不同,燃料电池是按内燃机方式工作的即它要发电一定要组建一个系统:燃料氢供给,氧(空气)供给,氢氧反应产物水的排除,电堆热管理和电管理等分系统。在十五科技部就成立电动汽车专家组,万刚任组长,并设立电动汽车专项。专家组提出三从三横的电动汽车发展战略:三从:锂离子电池车,混合动力车和燃料电池车。三横:电池与燃料电池,电机与推进系统,电控系统。在锂离子电池车产业化后,又提出燃料电池车的成市群示范计划,已批准二批,五个城市群,以奖励代替补贴的促进燃料电池车的发展。氢燃料电池的优势包括以下几点。第一,电池系统比能量高达到每公斤0.5-1...
智能设备 2023-05-19 16:48:55 -
SqlServer常用函数及时间处理小结
YEAR() 函数返回一个整数值,它表示指定日期的年份,一般使用为:Year(时间),如:YEAR('2023-03-14 16:50:08.543')--2023REPLACE() 字符串替换函数,一般使用为:REPLACE(被搜索字符串,需要替换的字符串,替换值),如:REPLACE('测试添加的','的','测试数据')--测试添加测试数据STUFF() 函数用于删除指定长度的字符,并可以在指定的起点处插入另一组字符,一般使用为:STUFF(字符串,从1开始计算字符开始位置,要删除的字符数,要重新插入的字符串),如:STUFF('测试添加的',3,2,'修改')--测试修改的DATEADD() 函数将数字值添加到输入日期的指定日期部分,并返回修改后的值,一般使用为:DATEADD(需要对时间的什么部分操作,时间,间隔数–过去为负数未来为正数),如:DATEADD(Year, -7,GETDATE())`--2016-03-14 16:48:01...
数据库操作教程 2023-05-12 12:13:30 -
知乎“515职人节”即将启动聚焦新职人的工作生活
5月12日消息,知乎将于5月15日至5月31日上线“515职人节”系列活动。据了解,中国就业人口正在诞生“新职人”群体,他们接受过高等教育,具有专业经验技能,多从事先进制造业和第三产业,预计规模超过4亿人...
互联网 2023-05-12 12:09:29 -
电动汽车有多环保?这取决于你生活的地方
5月10日消息,电动汽车的环保程度取决于所用电源的清洁程度,不同国家之间差异很大。全球汽车销售数据显示,越来越多的人正在购买电动汽车,这些汽车在行驶时不会排放导致气候变暖的二氧化碳...
业界动态 2023-05-10 21:13:15 -
当年追剧的时候竟然没发现品如用的苹果翻盖手机
【手机中国新闻】《回家的诱惑》这部“神剧”很多人再熟悉不过,当年在芒果台完全鲨疯了。不过,有网友在刷这部剧的时候,发现了很多不可思议的细节,比如剧中男主“洪世贤”用的苹果手机竟然是翻盖的?!而这部苹果翻盖手机我们也在品如手上见过...
手机互联 2023-05-08 08:32:31 -
抖音生活服务五一数据报告:订单同比增长262%
5月5日消息,抖音生活服务《五一消费数据报告》显示,4月29日至5月3日期间,“五一”相关订单同比增长262%,酒旅、餐饮、休闲娱乐行业迎消费热潮。《报告》显示,“五一”期间全国酒旅相关订单量同比增长274%...
互联网 2023-05-07 12:42:48 -
美团数据:五一期间生活服务业线上消费,较2019年同期增长133%
5月4日消息,美团数据显示,五一假期前三天,全国生活服务业线上日均消费规模较2019年同期增长133%,迎五年来最旺五一。北京、上海、深圳、广州、成都等地消费规模位居全国前五...
互联网 2023-05-04 07:30:43 -
人工智能实验解码大脑扫描,揭示出人们在想什么
科学家于本周一表示,他们已经找到了一种方法,利用大脑扫描和人工智能建模来记录人们思考的“要点”,这被称为是向读心术迈出的一步。上图:研究人员准备在功能磁共振扫描仪中收集大脑活动数据...
智能设备 2023-05-02 13:40:09 -
研究人员发现ChatGPT生成的代码大部分不安全,但不会主动告诉你
IT之家4月23日消息,ChatGPT聊天机器人可以根据用户的输入生成各种各样的文本,包括代码。但是,加拿大魁北克大学的四位研究人员发现,ChatGPT生成的代码往往存在严重的安全问题,而且它不会主动提醒用户这些问题,只有在用户询问时才会承认自己的错误...
智能设备 2023-04-23 11:08:33