热门搜索
-
GPT-4变笨引爆舆论！文本代码质量都下降，OpenAI刚刚回应了质疑
梦晨 克雷西 发自 凹非寺量子位 | 公众号 QbitAI大模型天花板GPT-4，它是不是……变笨了？先是少数用户提出质疑，随后大量网友表示自己也注意到了，还贴出不少证据。有人反馈，把GPT-4的3小时25条对话额度一口气用完了，都没解决自己的代码问题。无奈切换到GPT-3.5，反倒解决了。总结下大家的反馈，最主要的几种表现有：以前GPT-4能写对的代码，现在满是Bug回答问题的深度和分析变少了响应速度比以前快了这就引起不少人怀疑，OpenAI是不是为了节省成本，开始偷工减料？两个月前GPT-4是世界上最伟大的写作助手，几周前它开始变得平庸。我怀疑他们削减了算力或者把它变得没那么智能。这就不免让人想起微软新必应“出道即巅峰”，后来惨遭“前额叶切除手术”能力变差的事情……网友们相互交流自己的遭遇后，“几周之前开始变差”，成了大家的共识。一场舆论风暴同时在Hacker News、Reddit和Twitter等技术社区形成。这下官方也坐不住了。OpenAI开发者推广大使Logan Kilpatrick，出面回复了一位网友的质疑：API 不会在没有我们通知您的情况下更改。那里的模型处于静止状态。不放心的网友继续追问确认“就是说GPT-4自从3月14日发布以来都是静态的对吧？”，也得到了Logan的肯定回答。“我注意到对于某些提示词表现不一致，只是由于大模型本身的不稳定性吗？”，也得到了“Yes”的回复。但是截至目前，针对网页版GPT-4是否被降级过的两条追问都没有得到回答，并且Logan在这段时间有发布别的内容。那么事情究竟如何，不如自己上手测试一波。对于网友普遍提到GPT-4写代码水平变差，我们做了个简单实验。实测GPT-4“炼丹”本领下降了吗？3月底，我们曾实验过让GPT-4“炼丹”，用Python写一个多层感知机来实现异或门。△ShareGPT截图，界面稍有不同让GPT-4改用numpy不用框架后，第一次给出的结果不对。在修改两次代码后，运行得到了正确结果。第一次修改隐藏神经元数量，第二次把激活函数从sigmoid修改成tanh。6月2日，我们再次尝试让GPT-4完成这个任务，但换成了中文提示词。这回GPT-4第一次就没有使用框架，但给的代码仍然不对。后续只修改一次就得到正确结果，而且换成了力大砖飞的思路，直接增加训练epoch数和学习率。回答的文字部分质量也未观察到明显下降，但响应速度感觉确实有变快。由于时间有限，我们只进行了这一个实验，且由于AI本身的随机性，也并不能否定网友的观察。最早4月19日就有人反馈我们在OpenAI官方Discord频道中搜索，发现从4月下旬开始，就不时有零星用户反馈GPT-4变差了。但这些反馈并未引发大范围讨论，也没有得到官方正式回应。5月31日，Hacker News和Twitter同天开始大量有网友讨论这个问题，成为整个事件的关键节点。HackerNews一位网友指出，在GPT-4的头像还是黑色的时候更强，现在紫色头像版在修改代码时会丢掉几行。在Twitter上较早提出这个问题的，是HyperWrite（一款基于GPT API开发的写作工具）的CEO，Matt Shumer。但这条推文却引发了许多网友的共鸣，OpenAI员工回复的推文也正是针对这条。不过这些回应并没让大家满意，反而讨论的范围越来越大。比如Reddit上一篇帖子提到，原来能回答代码问题的GPT-4，现在连哪些是代码哪些是问题都分不出来了。在其他网友的追问下，帖子作者对问题出现的过程进行了概述，还附上了和GPT的聊天记录。对于OpenAI声称模型从三月就没有改动过，公开层面确实没有相关记录。ChatGPT的更新日志中，分别在1月9日、1月30日、2月13日提到了对模型本身的更新，涉及改进事实准确性和数学能力等。但自从3月14日GPT-4发布之后就没提到模型更新了，只有网页APP功能调整和添加联网模式、插件模式、苹果APP等方面的变化。假设真如OpenAI所说，GPT-4模型本身的能力没有变化，那么这么多人都感觉它表现变差是怎么回事呢？很多人也给出了自己的猜想。第一种可能的原因是心理作用。Keras创始人François Chollet就表示，不是GPT的表现变差，而是大家度过了最初的惊喜期，对它的期待变高了。Hacker News上也有网友持相同观点，并补充到人们的关注点发生了改变，对GPT失误的敏感度更高了。抛开人们心理感受的差异，也有人怀疑API版本和网页版本不一定一致，但没什么实据。还有一种猜测是在启用插件的情况下，插件的额外提示词对要解决的问题来说可能算一种污染。△WebPilot插件中的额外提示词这位网友就表示，在他看来GPT表现变差正是从插件功能开始公测之后开始的。也有人向OpenAI员工询问是否模型本身没变，但推理参数是否有变化？量子位也曾偶然“拷问”出ChatGPT在iOS上的系统提示词与网页版并不一致。如果在手机端开启一个对话，它会知道自己在通过手机与你交互。会把回答控制在一到两句话，除非需要长的推理。不会使用表情包，除非你明确要求他使用。△不一定成功，大概率拒绝回答那么如果在网页版继续一个在iOS版开启的对话而没意识到，就可能观察到GPT-4回答变简单了。总之，GPT-4自发布以来到底有没有变笨，目前还是个未解之谜。但有一点可以确定：3月14日起大家上手玩到的GPT-4，从一开始就不如论文里的。与人类对齐让AI能力下降微软研究院发表的150多页刷屏论文《AGI的火花：GPT-4早期实验》中明确：他们早在GPT-4开发未完成时就得到了测试资格，并进行了长期测试。后来针对论文中很多惊艳例子，网友都不能成功用公开版GPT-4复现。目前学术界有个观点是，后来的RLHF训练虽然让GPT-4更与人类对齐——也就更听从人类指示和符合人类价值观——但也让它自身的推理等能力变差。论文作者之一、微软科学家张弋在中文播客节目《What’s Next｜科技早知道》S7E11期中也提到：那个版本的模型，比现在外面大家都可以拿得到的GPT-4还要更强，强得非常非常多。举例来说，微软团队在论文中提到，他们每隔相同一段时间就让GPT-4使用LaTeX中的TikZ画一个独角兽来追踪GPT-4能力的变化。论文中展示的最后一个结果，画得已经相当完善。但论文一作Sebastien Bubeck后续在MIT发表演讲时透露了更多信息。后来当OpenAI开始关注安全问题的时候，后续版本在这个任务中变得越来越糟糕了。与人类对齐但并不降低AI自身能力上限的训练方法，也成了现在很多团队的研究方向，但还在起步阶段。除了专业研究团队之外，关心AI的网友们也在用自己的办法追踪着AI能力的变化。有人每天让GPT-4画一次独角兽，并在网站上公开记录。从4月12日开始，直到现在也还没看出来个独角兽的大致形态。当然网站作者表示，自己让GPT-4使用SVG格式画图，与论文中的TikZ格式不一样也有影响。并且4月画的与现在画的似乎只是一样差，也没看出来明显退步。最后来问问大家，你是GPT-4用户么？最近几周有感到GPT-4能力下降么？欢迎在评论区聊聊。Bubeck演讲：https://www...
智能设备 2023-06-03 10:09:46 -
StableDiffusion动画版上线！支持文本图像视频多种输入方式
西风 发自 凹非寺量子位 | 公众号 QbitAIStable Diffusion也能生成视频了！你没听错，Stability AI推出了一款新的文本生成动画工具包Stable Animation SDK，可支持文本、文本+初始图像、文本+视频多种输入方式。使用者可以调用包括Stable Diffusion 2.0、Stable Diffusion XL在内的所有Stable Diffusion模型，来生成动画。Stable Animation SDK的强大功能一经展现，网友惊呼：哇哦，等不及想试试了！目前，Stability AI疑似还在对这个新工具进行技术优化，不久后将公开驱动动画API的组件源代码。3D漫画摄影风，不限时长自动生成Stable Animation SDK可支持三种创建动画的方式：1、文本转动画：用户输入文prompt并调整各种参数以生成动画（与Stable Diffusion相似）。2、文本输入+初始图像输入：用户提供一个初始图像，该图像作为动画的起点。图像与文本prompt结合，生成最终的输出动画。3、视频输入+文本输入：用户提供一个初始视频作为动画的基础。通过调整各种参数，根据文本prompt生成最终的输出动画。除此之外，Stable Animation SDK对生成视频的时长没有限制，但是长视频将需要更长的时间来生成。Stability AI发布了Stable Animation SDK后，有很多网友分享了自己测试效果，让我们一起看下吧：Stable Animation SDK可以设置许多参数，例如steps、sampler、scale、seed。还有下面这么多的预设风格可选择：3D模型、仿真胶片、动漫、电影、漫画书、数码艺术、增强幻想艺术、等距投影、线稿、低多边形、造型胶土、霓虹朋克、折纸、摄影、像素艺术。目前，动画功能API的使用是以积分计费的，10美元可抵1000积分。使用Stable Diffusion v1...
智能设备 2023-05-19 11:52:26 -
谷歌PaLM2训练所用文本数据量是初代的近5倍
5月17日消息，谷歌上周在2023年I/O开发者大会上推出最新大型语言模型PaLM 2。公司内部文件显示，自2022年起训练新模型所使用的文本数据量几乎是前一代的5倍。据悉，谷歌最新发布的PaLM 2能够执行更高级的编程、运算和创意写作任务。内部文件透露，用于训练PaLM 2的token数量有3.6万亿个。所谓的token就是字符串，人们会将训练模型所用文本中的句子、段落进行切分，其中的每个字符串通常被称为token。这是训练大型语言模型的重要组成部分，能教会模型预测序列中接下来会出现哪个单词。谷歌于2022年发布的上一代大型语言模型PaLM在训练中使用了7800亿个token。尽管谷歌一直热衷于展示其在人工智能技术领域的实力，说明如何将人工智能嵌入到搜索引擎、电子邮件、文字处理和电子表格中，但一直不愿公布训练数据的规模或其他细节。微软支持的OpenAI也对最新发布的GPT-4大型语言模型细节保密。两家公司都表示，不披露这些信息的原因是人工智能行业存在激烈竞争。谷歌和OpenAI都想要吸引那些希望使用聊天机器人而不是传统搜索引擎搜索信息的用户。但随着人工智能领域竞争的白热化，研究界要求提高透明度。自推出PaLM 2以来，谷歌一直表示，新模型比之前的大型语言模型更小，这意味着该公司技术在完成更复杂任务时能变得更高效。参数（parameters）通常用于说明语言模型的复杂性。根据内部文件，PaLM 2接受了3400亿个参数的训练，初代的PaLM接受了5400亿个参数的训练。谷歌没有立即发表评论。谷歌在一篇关于PaLM 2的博客文章中表示，新模型使用了一种名为“计算最优缩放”（compute-optimal scaling）的“新技术”，能使得PaLM 2“更高效，整体性能更好，比如推理更快、服务参数更少，服务成本也更低。”在发布PaLM 2时，谷歌透露新模型接受了100种语言的训练，并能胜任各种各样的任务。包括谷歌试验性聊天机器人Bard在内的25项功能和产品用的都是PaLM 2。PaLM 2按参数规模有四个不同的版本，从小到大依次是Gecko（壁虎）、Otter（水獭）、Bison（野牛）和Unicorn（独角兽）。根据谷歌公开披露的信息，PaLM 2比任何现有模型都更强大。Facebook在今年2月份宣布推出名为LLaMA的大型语言模型，其在训练中用了1...
业界动态 2023-05-17 13:33:30 -
Meta开源多感官人工智能模型，整合文本、音频、视觉等六类数据
IT之家5月9日消息，Meta公司发布了一个新的开源人工智能模型ImageBind，该模型能够将多种数据流，包括文本、音频、视觉数据、温度和运动读数等整合在一起。该模型目前只是一个研究项目，还没有直接的消费者或实际应用，但它展示了未来生成式人工智能系统的可能性，这些系统能够创造出沉浸式、多感官的体验...
智能设备 2023-05-10 10:49:03 -
OpenAI推出Shap・E：基于文本数秒内生成高质量3D模型
IT之家5月9日消息，继文本生成图片模型DALL・E之后，OpenAI近日再次发布了Shap・E模型。用户可以输入文本，用于创建逼真且多样化的3D模型...
智能设备 2023-05-09 12:36:14 -
文本和图片之后，AIGC的下个前沿将是视频生成
3月21日消息，生成式人工智能（AIGC）在文本和图片生成方面已经取得了显著进展。几个月来，Dall-E、ChatGPT以及StableDiffusion等服务创作了各种各样的文字和图片内容...
业界动态 2023-03-21 15:13:46 -
ChatGPT开发商OpenAI推出新工具可检测文本是否由人所写
2月1日消息，美国当地时间周二，AI研究初创公司OpenAI宣布推出一款新工具，可用于检测文本是出自人类之手还是由AI生成。这款名为分类器的工具将标记OpenAI产品（如ChatGPT）以及其他AI创作软件编写的内容...
业界动态 2023-02-01 07:45:33 -
RPG文本写作讨论（四）：余论和结论
编者按：今天的连载是关于RPG文本写作问题的讨论的最后一部分。之前几篇连载分别是：RPG文本写作讨论（一）：怎样避免“奇幻病”？RPG文本写作讨论（二）：创作者的水平问题RPG文本写作讨论（三）：怎样才是合格的“游戏文本”？本文是原作者DarthRoxer发布于2017年的一篇长文...
游戏资讯 2022-11-01 17:51:38 -
RPG文本写作讨论（三）：怎样才是合格的“游戏文本”？
编者按：你们已经看了两天关于RPG文本写作问题的讨论了，但这篇长文还没有完。我们的预计是连载4期...
游戏资讯 2022-10-28 18:38:01 -
RPG文本写作讨论（一）：怎样避免“奇幻病”？
编者按：本文是DarthRoxer发布于2017年的一篇长文。如标题所述，作者指出了他心目中现代RPG游戏文本中出现的一些毛病，并且给出了部分解决方案...
游戏资讯 2022-10-25 18:39:21 -
网站内链之锚文本链接的优化技巧
随着搜索引擎智能化技术的不断进步，网站内链的重要性开始日益显著。在数年前，网站SEO优化的核心就是外链，当时有一个著名的行业谚语，那就是“内容为王，外链为皇”...
推广优化 2022-09-24 12:22:24 -
网站优化之锚文本常犯的错误以及锚文本的设置方法
网站内链建设中锚文本的使用是必不可少的，无论是导航、内页相互之间的连接等都会用到锚文本。锚文本可以帮助网站在短时间内尽可能多的页面被蜘蛛抓取，有效地提升网站关键词的排名，所以站长们都很注重锚文本连接的建设...
推广优化 2022-09-24 12:02:20
