阿里巴巴网站网络营销的影响织梦教育培训网站源码

阿里巴巴网站网络营销的影响,织梦教育培训网站源码,网站开发教育,有创意的设计主题“大语言模型并不是通向人类水平智能的路径#xff0c;真的不是。现在的问题是#xff0c;它们几乎吸走了所有资源#xff0c;留给其他方向的空间非常有限。” 在最新采访中#xff0c;图灵奖得主、Meta前首席科学家、LLM的“悲观派”Yann LeCun再度敲钟#xff0c;强调L…“大语言模型并不是通向人类水平智能的路径真的不是。现在的问题是它们几乎吸走了所有资源留给其他方向的空间非常有限。”在最新采访中图灵奖得主、Meta前首席科学家、LLM的“悲观派”Yann LeCun再度敲钟强调LLM的不断扩展并不能通向真正的AGI并警告其吸走了不少研究资源在与谷歌DeepMind Gemini团队负责人 Adam Brown 的同台对话中两人也有不少意见相左之处。Yann LeCun认为现在的LLM看似强大但其训练环境远没有真实环境那么复杂、充满噪声它并不真正理解底层现实实际上还没有达到一只猫或狗的智能水平相比之下Adam Brown则更为乐观他认为尽管人类可以用远少于模型训练的样本来学会某些技能但对模型来说其样本数量和训练时间不像人类那样受到限制所以在不断扩展的情况下语言模型能够取得远超人类的智能表现。Yann LeCun指出人们习惯了把“语言能力强”视为“聪明”的标志但这是一种错觉。**机器在某些任务上表现得很好并不意味着它具备了人类拥有的底层智能。**像收拾餐桌把碗碟放进洗碗机这种任务LLM永远也不可能实现。言下之意是构建世界模型才是实现AGI正道。此外他们还讨论了LLM是否能真正理解对话中的意图未来是否会发展出“意识”。两人都认为AI未来可能会发展出意识即某种“自我观测”和“自我调节”的能力Yann进一步指出AI会发展出情绪和道德感。至于AI的安全对齐问题Yann认为LLM 是不可控的。它们之所以不危险不是因为我们解决了安全问题而是因为它们还不够聪明。因此他指出未来必须在系统中加入“护栏”确保AI在护栏约束之下只实现人类赋予的目标。此外他还表示自己真正的担忧在于未来全球没有开源的 AI 系统。如果未来人们与数字世界的每一次互动都将由 AI 系统来中介完成而这些AI只掌握在少数几家大公司手里那将是一件很可怕的事情。最后在Yann LeCun的展望中他认为下一场AI革命在于机器能帮人们倒一杯水、洗碗这将是真正值得震撼的时刻也是一场“新的文艺复兴”。小编整理了整期对话的实录有部分删减信息量极大enjoy神经网络与深度学习的发展主持人Yann我想先从神经网络谈起。你能否向我们解释一下“机器在模拟人类神经网络”到底意味着什么Yann LeCun其实这并不是真正的“模仿”更准确地说是“启发”。就像飞机受到鸟类的启发一样。主持人我以为模仿鸟类造飞机这件事并不成功Yann LeCun从某种意义上说是成功的。飞机和鸟一样都有机翼通过在空气中前进来产生升力但类比也仅止于此。飞机的机翼比鸟的翅膀简单得多但背后的物理原理是相同的。神经网络也是类似的关系真实大脑之于人工神经网络大致就像鸟之于飞机。它们在很多方面被极度简化了但可能共享某些底层原则。至于这些原则究竟是什么我们其实并不知道因为我们并不了解大脑皮层真正的“算法”也不了解大脑是如何自组织并学习的。所以我们发明了替代方案。就像鸟通过拍打翅膀飞行而飞机使用螺旋桨或喷气发动机一样在神经网络中我们使用学习算法让人工神经网络以一种我们认为“类似于大脑”的方式学习。大脑是由神经元组成的网络神经元彼此相连。大脑学习的方式是通过改变神经元之间连接的有效性。而神经网络的训练过程本质上也是在修改这些“模拟神经元”之间连接的强度。这些连接的强度我们称之为“参数”。你们经常在媒体上看到神经网络参数规模的报道。当前最大的神经网络拥有数千亿个参数甚至更多而训练的过程就是不断调整这些参数。主持人“深度学习”是如何在这条发展路径中出现的神经网络的概念从 20 世纪 80 年代甚至更早就已经存在了。Yann LeCun 是的大致从 80 年代开始。最早能真正学到一些有用东西的神经网络可以追溯到 50 年代但它们都是“浅层”的只能训练一层神经元。你给它输入训练它产生某个输出它可以用来识别或分类相对简单的模式但无法处理复杂问题。早在 60 年代人们就已经意识到要取得突破必须能够训练多层神经网络。问题在于他们确实构建了多层神经网络但无法训练所有层往往只能训练最后一层。一直到 1980 年代人们才真正找到有效的方法来训练这些多层系统。原因之一是当时使用的“神经元模型”并不合适。人们使用的是二值神经元——要么激活要么不激活。真实大脑中的神经元确实是这样工作的因此大家试图忠实复刻这一点。但事实证明现代学习算法我们称之为反向传播需要神经元具有“连续的、可微的响应”。这一点直到 80 年代才真正被证明是可行的。这引发了 80 年代神经网络研究的一次复兴。在此之前它在 60 年代末几乎被放弃。那一波热潮大约持续了 10 年到 90 年代中期再次衰落直到 2000 年代末我们把它重新包装为“深度学习”。“神经网络”这个名字在计算机科学和工程领域的名声并不好所以我们换了个名字。随后在计算机视觉、自然语言理解和语音识别上的成功结果真正说服了大家这条路线是行得通的。主持人Adam你年轻时关注的是理论物理而不是计算机科学。你在某种程度上是从“外围”看着这一切发生的。是什么契机让几十年后如此多的人被卷入其中Adam过去几年里很多物理学家都转向了 AI。这可以追溯到 Yann 以及其他人证明“它真的能工作”。在它还不能工作的时候它只是计算机科学里的一个小众方向很少有物理学家会在意。但当这些先驱证明神经网络确实有效之后这个领域立刻变得对物理学极具吸引力你把简单的神经元以某种方式连接起来突然就出现了单个神经元层面根本不存在的“涌现行为”。对于一生都在研究“复杂世界如何从简单规律中涌现”的物理学家来说这几乎是无法抗拒的诱惑。如今从物理学博士转向研究 AI 中的涌现系统已经成了一条非常常见的职业路径。主持人我们来做一个“闪电问答”我想先快速问几个“是或否”的问题。这些大型语言模型是否理解它们与我们对话时的“意义”Adam是。Yann LeCun某种程度上是。**主持人**这些 AI 有意识吗Yann LeCun绝对没有。Adam大概没有。主持人那它们很快会有吗Adam如果技术进展持续下去我认为它们终有一天会具备意识。至于是什么时候很难说这取决于我们如何定义“意识”。主持人我们正站在人类的末日边缘还是创造力复兴的门槛上Yann LeCun复兴。Adam大概率是复兴。LLM是否达到了猫或狗的智能水平**主持人**Adam什么是大型语言模型你来介绍一下吧。Adam大型语言模型是一类特殊的神经网络。它们是在特定输入、特定输出、以及特定训练方式下训练出来的。从本质上说它仍然是 Yann 和其他人开创的那类深度神经网络只是采用了一种专门为某个任务设计的架构。这个任务是什么输入文本。模型会读取一句话的前几个词或者一本书的前几段文字然后尝试预测“下一个词”会是什么。你取一个特定架构的深度神经网络让它几乎读遍整个互联网。对互联网上出现的每一个词包括现在还加入了其他类型的数据你不断地问它“你觉得下一个词是什么”如果它预测对了你就给它一点奖励强化对应的神经通路如果预测错了就削弱这些通路。一开始它只会随机地输出词语。训练一百万个词还是基本随机训练十亿个词可能才刚刚学会主谓宾结构和一些基本语法而当我们像今天这样用一万亿甚至数万亿词去训练时它才逐渐变成你们今天已经非常熟悉的那种“对话伙伴”。主持人你们认为这些模型是否在提取“意义”这种意义是否与我们人类在组织语言时的意义是同一回事Yann LeCun它们当然在提取某种意义但这种意义比大多数人类从文本中获得的理解要表浅得多。人类的智能是“扎根于现实世界”的。语言只是用来表达现实中的现象、事物或概念的一种工具。而大型语言模型并没有任何对底层现实的感知因此它们的理解是相对肤浅的。它们并不真正具备我们所说的那种“常识”。当然如果你训练得足够久它们会正确回答大多数人能想到的问题因为训练本身就是这样设计的你收集所有人问过的问题再训练模型给出正确答案。但总会出现新的问题、新的提示词、新的词序组合而模型从未在这些情境上接受过训练于是就可能输出完全荒谬的结果。所以从这个意义上说它们并没有真正理解底层现实或者说即便有理解也只是非常表层的。接下来的问题是我们该如何弥补这一点我也可以在这里扮演一下“魔鬼代言人”我们凭什么确定人类的学习方式就本质上不同呢人类同样是在大量语言中被训练的当我们在合适的时机说出合适的词、使用正确的语法结构时会得到多巴胺或奖励反馈然后我们在下一次表现得更好。某种意义上也是在“反向传播”。那这种过程究竟和模型有什么根本差别你刚才提到的一个关键点可能就在于我们有感官体验真正沉浸在世界之中。正如我刚才说的一个典型的大型语言模型会在预训练阶段接触到数万亿个词。更准确地说大约是 30 万亿词。词实际上会被表示为 token 序列一个 token 大约是 3 个字节因此总数据量大约是 10¹⁴ 字节。这基本相当于互联网上所有公开文本的总和再加上一些其他来源。对我们任何一个人来说要完整读完这些内容大约需要五十万年。现在把这个数字和一个孩子做对比。心理学家告诉我们一个四岁的孩子总共清醒过的时间大约是 16,000 小时。视神经中大约有 200 万条神经纤维每条每秒传输约 1 bit 的信息。也就是说大约有 2 MB/s 的视觉信息进入视觉皮层。把 16,000 小时乘进去你会发现一个四岁的孩子看到的视觉数据量大约也是 10¹⁴ 字节与最大的 LLM 所吸收的全部文本数据量相当。这说明什么现实世界中的信息不仅更多而且更加复杂它是连续的、高维的、充满噪声的。而我们今天用于训练 LLM 的方法并不适用于这样的真实世界。这正是为什么我们已经有能通过律师资格考试、能像大学生一样解微积分、做数学题的模型但我们仍然没有真正能做家务的家用机器人。我们甚至还没有真正意义上的 L5 自动驾驶。即便有一些展示我们也是“作弊”了。更不用说让一辆车像一个青少年那样只用 20 小时练习就学会驾驶。这说明要让机器达到人类、甚至动物级别的智能我们还缺少非常关键的东西。别说语言了就连猫或狗的智能水平我们目前的 AI 系统都还没有达到。主持人Adam你似乎认为目前的大型语言模型已经具备了更多的理解能力。Adam是的。我认为 Yann 提出的观点非常准确大型语言模型在“样本效率”上确实远不如人类。人类甚至一只猫都可以用远少于 LLM 的样本学会某些技能。要把模型训练到同等熟练水平往往需要多得多的数据。这是动物心智架构优于我们当前人工系统的地方。但样本效率并不是一切。在大模型出现之前我们在其他任务上也见过类似现象。以国际象棋为例AlphaZero 等系统通过自我对弈来学习一开始完全是随机走子每一盘输赢都会强化或削弱相应的神经通路然后再下无数盘。当它们下到相当于人类特级大师一生棋局数量的时候仍然几乎是在乱走。但问题在于它们不受限于“人类一生能下多少盘棋”。硅芯片极快又可以高度并行它们可以下远超任何人类一生数量的棋局。最终我们看到的结果是它们不仅达到了人类水平而且远远超越了人类棋手。所以样本效率低并不意味着能力上限低。在理解问题上也是如此。也许它们需要更多样本才能达到同等熟练度但一旦达到是否可以利用它们的速度、规模和通用性进一步超越再举一个例子猫在很多方面比人类更“样本高效”。人类学会走路需要一年而猫一周就能走路。但这并不意味着猫比人类聪明也不意味着猫比大型语言模型聪明。最终的问题始终是这些系统的能力边界在哪里我们能把它们推进多远在几乎所有指标上除了这个相对贫乏的“样本效率”指标我们已经把大型语言模型推进到了远超猫类智能的水平。Yann LeCun我的意思是这些大型语言模型所积累的知识量显然远远超过猫甚至在某种意义上也超过任何单个人类。我们已经有大量例子表明在许多具体任务上计算机远远优于人类比如下国际象棋。而且不仅是棋类在很多其他任务上也是如此。所以毫无疑问LLM 可以积累海量知识其中一些模型还能进行多语言翻译、理解语音并在一千多种语言之间进行任意方向的互译这是任何人类都做不到的。在这些方面它们确实具备超人能力。但另一方面快速、高效地学习能够面对一个从未见过的新问题并想出解决方案以及真正理解世界如何运作这些能力目前的 AI 系统仍然不具备。Adam当然我们最近也看到了一些进展这些系统并不仅仅是在“逐字复现”见过的问题也不是简单地查表。它们确实在做某种模式匹配但这种匹配发生在足够高的抽象层级以至于它们能够完成一些从未见过、甚至人类也做不到的任务。举一个例子每年都有一项国际数学奥林匹克竞赛IMO参赛者是全世界最聪明的高中数学学生。每年他们要解决六道题这些题目代表了人类数学智能的巅峰。我自己有一定数学能力但我看到这些题目时往往连从哪里下手都不知道。今年我们把这些全新的、从未出现在任何训练数据中的题目输入给模型其他一些 LLM 公司也做了类似的实验。模型将多种不同的思路结合起来最终取得了一个成绩——仅次于全球排名前十几名的人类选手。我认为这是一种相当惊人的智能表现。模型是否拥有真正的理解和“意识”主持人****问题又回到了这个核心点它们是否真的“理解”从模型的数学结构来看我们知道它接收了什么输入也知道它在做什么计算但从某种意义上说它依然是一个黑箱。当我在和你对话时我****感觉你是理解我的而当我在和 ChatGPT 对话时我并没有这种感觉。你认为它的理解程度和我、和你是一样的吗Adam****在我看来我认为这就是一种理解。而且我认为有两类证据可以支持这一点。第一类证据来自直接的对话体验。如果你和这些模型交谈向它们提出一些困难的问题我经常会感到惊讶。而且几乎每过一个月、每发布一个新模型我都会对它们讨论复杂问题时所展现出的思想成熟度感到更加惊讶。仅从这一点来看就已经非常令人震撼了。第二类证据与你刚才提到的“黑箱”有关。它们并不完全是黑箱。我们实际上可以访问这些模型的神经元。而且说实话我们对这些模型神经元的可访问程度远远超过我们对人类大脑的了解。要获得伦理委员会批准在一个人做数学测试时把他的大脑切开、观察神经元如何放电几乎是不可能的即便真的这么做了也只能对一个人做一次。但对于神经网络我们可以把模型冻结、反复回放、完整记录内部发生的一切。如果我们感兴趣还可以主动去“拨动”某些神经元看看会发生什么。这当然仍然是一门非常初级的学科但它已经有了名字可解释性研究或者更具体地说机制可解释性。它试图理解的不只是模型“说了什么”而是它为什么这么说、它是如何思考的。当我们这样去分析时会发现一些非常有意思的现象当你给模型输入一个数学问题时模型内部会出现一个小型“电路”专门负责计算答案。我们并没有显式地为它编写这样的程序它是在大量文本中进行下一词预测训练的过程中自己学会了这一点。为了更准确地预测下一个词它“意识到”自己需要学会做数学于是就在内部构建了某种原型级的计算电路用于执行数学运算。主持人**Yann你曾在一次主题演讲中放出过一张幻灯片上面写着一句话“Machine Learning Sucks机器学习很烂”**。这句话后来在网络上引发了巨大争议。你为什么会说“机器学习很烂”问题到底出在哪里Yann LeCun****那句话被严重误解了。但我当时想表达的核心其实正是我们两个人都提到的那个问题。为什么一个青少年只需要大约 20 个小时的练习就能学会开车为什么一个 10 岁的孩子在你第一次让他去做的时候就能把餐桌收拾干净、把碗碟放进洗碗机至于这个 10 岁的孩子愿不愿意去做那是另一个问题但他确实具备这种能力。而我们目前还没有任何机器人能接近这种水平。我们甚至连在对物理现实的理解上都没有机器人能接近一只猫或一条狗。从这个意义上说机器学习是“很烂的”。这并不是说深度学习方法、反向传播算法或神经网络本身是烂的。恰恰相反它们显然是非常优秀的而且我们目前也没有任何替代方案。我也坚信神经网络、深度学习和反向传播将在很长一段时间内继续作为未来 AI 系统的基础。真正的问题在于为什么人类幼崽能在生命最初的几个月里就迅速学会世界是如何运作的人类婴儿大约需要 9 个月就能掌握诸如重力、惯性等“直觉物理学”。幼小的动物学得更快它们的大脑更小因此学习更容易。虽然它们学不到同样的深度但速度更快。而这种学习能力正是我们需要复现的东西。我们最终也会用神经网络、深度学习和反向传播来实现它但问题在于我们还缺少一个关键概念一种合适的架构。我这些年一直在提出一些可能的架构设想试图解决这一问题。为什么LLM在处理语言时如此高效原因在于它们被训练来预测下一个词或下一个 token。这并不重要。词典中的词是有限的所以你永远不可能精确预测接下来会出现哪一个词但你可以训练一个系统为词典中的每一个词给出一个分数或者说一个概率分布。换句话说LLM 所做的事情本质上是生成一长串介于 0 和 1 之间、且总和为 1 的数字每一个数字对应词典中的一个词表示“这个词在当前位置出现的可能性”。这种方式能够很好地表示预测中的不确定性。现在试着把同样的思路应用到现实世界与其预测下一个词不如给模型输入一段视频让它预测接下来会发生什么。但这行不通。我已经尝试了 20 年如果你在像素层面做预测它根本行不通。原因在于真实世界是极其混乱的。未来可能发生的事情太多了而且其中有大量都是“合理的”。你几乎不可能对未来所有可能发生的事情构建一个有效的概率分布因为那本质上是一个近乎无限的可能性集合而我们并不知道如何高效地表示它。因此那些在文本或符号序列上效果极佳的技术并不适用于真实世界的感知数据。我们必须发明新的方法。我提出的一种思路是让系统学习一种抽象表示并在这个抽象表示空间中进行预测。这正是人类和动物运作的方式。我们通过抽象来进行预测同时忽略那些我们根本无法预测的细节。LLM无法通向AGI世界模型才可以主持人 所以尽管这些 LLM 取得了如此惊人的成功它们依然是受限的你并不认为它们能够通过规模化走向通用人工智能甚至超级智能Yann LeCun是的。事实上我们已经看到它们的性能正在趋于饱和。我们确实在某些领域看到持续进展。数学和编程是两个非常特殊的领域在这些领域里符号的操纵本身是“有意义的”。作为一名物理学家你应该很清楚这一点你写下一个方程式它本身就会引导你的思考在一定程度上推动你的推理过程。当然直觉仍然很重要但符号操作本身确实承载着意义。在这类问题中LLM 的表现确实不错因为这里的“推理”本质上就是在符号序列中进行搜索。但真正符合这一条件的问题其实非常少。下棋也是一个例子你是在搜索一系列可能的走法数学证明也是如此你是在搜索一系列符号推导从而得到某个结果。然而在真实世界中情况完全不同。真实世界是高维、连续的。比如我要怎么移动肌肉去抓起这个杯子我不会用左手直接抓我需要换手然后再抓。我需要提前规划并且理解什么是可能的什么是不可能的我不能用念力把杯子吸过来我不能让杯子凭空出现在左手里我的手也不能以违反身体结构的方式穿过身体。这些直觉性的知识我们在婴儿时期就学会了。我们学会了身体如何响应我们的控制也学会了世界如何对我们的行动作出反应。如果我推这个杯子我知道它会滑动如果我从上方推它也许会翻倒也许不会这取决于摩擦力是否足够大。如果我用同样的力推这张桌子它就不会翻倒。正是这些直觉让我们能够理解真实世界。而事实证明这些能力要比语言操纵复杂得多。我们常常把语言视为人类智能的巅峰但这其实是一个误解。语言反而是容易的。主持人这是不是所谓的“莫拉维克悖论”计算机擅长的事情人类并不擅长而人类擅长的事情计算机反而很难Yann LeCun是的我们一直在反复撞上这个悖论。主持人Adam我知道你对当前的神经网络和深度学习范式没有这么悲观。你认为它还有巨大的潜力会迎来一次能力上的大幅跃升而且你并不认为它正在饱和。你怎么看Adam是的。在过去五年里我们目睹了我此生见过的任何系统中最为惊人的能力跃迁。这正是让我、也让许多 AI 以及相关领域研究者为之着迷、并把全部注意力投入其中的原因。我没有看到任何能力放缓的迹象。如果你看看我们用来评估大语言模型能力的各种指标它们一直在变得越来越强。一年前的模型放在今天可能连“入门门槛”都达不到会被认为表现非常糟糕。每隔几个月这些模型都会把能力推到一个新的高度。如果你持续跟踪它们在各类任务上的表现会发现它们正在几乎所有维度上走向“超人类”。它已经能给出比大多数律师更好的法律建议它写诗的水平也超过了几乎所有诗人。在我所在的物理学领域我经常使用它有些我“应该知道但其实不知道”的问题我直接问模型。它不仅会告诉我正确答案还会非常耐心、而且毫无评判地听我解释自己的误解然后再一步步帮我拆解这些误解。过去五年持续到现在的这种能力跃迁对我以及旧金山的许多人来说都极具诱惑力。当然也许 Yann 是对的也许这些过去五年稳步上升的直线会突然全部停下来。但我非常好奇究竟还能把它推多远。而且我完全没有看到任何减速的迹象。相反我看到的所有证据都表明它们仍在持续进步。一旦它在写代码这件事上超过几乎所有最优秀的人类程序员它就可以开始改进自己。那时我们将真正进入一个极其疯狂的阶段。Yann LeCun我们早在上世纪五十年代就已经拥有了比最早程序员更好的“写代码者”了那就是编译器。已经六七十年了。我们反复陷入同一个误区并不是因为机器在某些任务上表现得很好就意味着它具备了我们默认认为人类拥有的那种底层智能。我们之所以会被迷惑是因为这些机器能够操纵语言而我们早已习惯把“语言能力强”视为“聪明”的标志。但这是一种错觉。当然它们是有用的这一点毫无疑问。我和你一样也会用它们来做这些事情。它们是很棒的工具就像计算机在过去几十年里一直是很棒的工具一样。但我想补充一个历史视角可能和我的年龄有关。从 1950 年代开始一代又一代的 AI 科学家都曾宣称他们刚刚发现的那种技术将会是通向人类水平智能的“终极钥匙”。你可以回顾 Marvin Minsky、Newell 和 Simon 的论断再比如 Frank Rosenblatt在 1950 年发明感知机时说只要我们能训练机器它就能变得无限聪明十年之内就会出现与人类一样聪明的机器。他们全都错了。这一代围绕 LLM 的乐观判断同样是错的。在我的一生中我已经见过三次这样的浪潮。在 1950 年代Newell 和 Simon 提出了“通用问题求解器”GPS1957 年。他们认为人类的推理本质上就是搜索只要把问题形式化写一个程序来判断某个候选解是否满足约束然后在所有可能的假设空间中搜索即可。他们认为这就是通向智能的道路。但他们没有意识到大多数真正有意义的问题其复杂度都会随着问题规模呈指数级增长。这种方法根本无法扩展为真正的智能系统。与此同时Rosenblatt 提出了感知机认为只要让机器学会学习它就能无限变聪明只需要构建更大的感知机即可。他没有意识到多层结构是必要的而当时并没有有效的方法来训练它们。到了 1980 年代又出现了专家系统。大家认为只要写下足够多的事实和规则再通过逻辑推理推导出所有结论就可以把人类知识完整编码进去。“知识工程师”一度被认为是最酷的职业。日本甚至启动了“第五代计算机计划”投入了巨额资金试图彻底变革计算机科学。结果是一次彻底的失败。它确实在少数场景中产生了价值也催生了一些产业但总体而言把人类知识还原为规则的成本实在太高根本无法规模化。随后是 1980 年代的第二波神经网络浪潮也就是我们今天所说的深度学习。当时缺乏互联网、缺乏数据、缺乏算力于是热潮又一次退去。而现在我们正在经历同样的循环而且我们再次被迷惑了。Adam在技术发展中每一次真正的黎明之前都会出现“虚假黎明”。但这并不意味着我们永远不会迎来真正的黎明。我想问你一个具体的问题Yann如果你认为 LLM 会达到饱和那么有没有一个明确的任务是 LLM即便结合我们今天给它们的各种工具永远也无法完成的Yann LeCun收拾餐桌把碗碟放进洗碗机。而且这已经算是非常简单的任务了。Adam我对此持怀疑态度。Yann LeCun这比修马桶还简单。对吧水管工。你永远不可能用 LLM 取代水管工你也永远不可能有一个由 LLM 驱动的机器人。它根本无法理解真实世界。主持人你并不是在说机器或机器人永远不可能做到这些对吗这并不是你的立场。你认为它们最终是可以的。只是不是通过当前这种算法路径或者说不是通过深度学习方式Yann LeCun当然可以。如果我们正在推进的这个研究方向能够成功也就是 JEPA、世界模型以及相关的一整套东西。如果它成功了可能需要好几年那么我们就可能拥有真正的 AI 系统。毫无疑问在未来的某个时间点我们一定会拥有在所有人类擅长的领域里都比人类更聪明的机器。这一点没有任何疑问它一定会发生。只是它发生的时间可能会比现在硅谷一些人所说的要晚得多。而且它不会是 LLM。它不会是那种通过预测离散 token 的生成模型。它将是能够学习抽象表征、在抽象表征空间中进行预测、并且能够推理“如果我采取这个动作会产生什么后果”的模型。它们能够规划一系列动作以达成某个目标。主持人你把这种方式称为“自监督学习”吗Yann LeCun不是。自监督学习 LLM 也在用。监督学习的核心思想是你训练一个系统并不是为了完成某一个具体任务而是为了捕捉你给它的数据中所蕴含的底层结构。一种方法是给系统一段数据然后人为地破坏其中的一部分比如遮掉一块再训练神经网络去预测被遮掉的那一部分。LLM 就是这样做的你给它一段文本去掉最后一个词然后训练它去预测缺失的那个词。还有一些语言模型会一次性填补多个词但事实证明它们的效果不如只预测下一个词的模型至少在某些任务上是这样。你也可以把这种方法用在视频上。但如果你尝试在像素级别进行预测是行不通的或者说效果非常差。我在 Meta 的同事们大概在西海岸“煮干了几片小湖”就为了给 GPU 降温、试图让这件事跑起来。但它就是不行。所以你必须发明新的架构比如 JEPA 之类的东西。这些方法是有效的我们已经有模型真正理解视频内容了。主持人Adam人们是否也在探索其他构建架构的方式Adam当然大家正在向各种方向进行探索包括 Yann 的方向。不过现实是目前绝大多数资源都投入在大语言模型以及围绕大语言模型的应用上主要还是文本输入这一类。说它们只是一个“预测下一个 token 的专用任务”我认为这并不是一个有帮助的理解方式。确实从训练目标上看你给它一个文本语料库让它一次又一次地预测下一个词。大量算力都花在这件事情上。但我们正是通过这种方式发现了一件极其非凡的事情为了足够好地预测下一个词你真的必须理解这个宇宙。而随着我们这样做我们已经看到了一种对世界的理解在模型中自发涌现。我会把它类比为物理学中的某些系统你只需要一个非常简单的规则通过不断重复应用这个规则就会产生极其复杂、令人惊叹的行为。LLM 也是如此。另一个类似的例子是进化。在生物进化中每一步你只是在做一件非常“粗糙”的事情最大化后代数量。最大化后代数量。一个极其简单、毫不精致的目标。但正是这个简单目标在无数次重复之后最终产生了我们所看到的整个生物世界的壮丽景象。证据表明预测下一个 token正因为它如此简单我们才能在巨大的计算规模上去做它而一旦你把规模推到足够大就会出现涌现的复杂性。LLM是不可控的不危险是因为还不够聪明主持人那接下来的问题可能就和进化有关了。你们都认为某种形式的智能最终一定会出现。但是否会出现这样一个时刻这些机器会自我进化把我们远远甩在身后Adam完全有可能。这就是所谓的递归式自我改进。在它们还不够聪明的时候它们几乎没什么用但一旦它们足够好、足够强你就可以用它们来增强人类智能最终它们可能会完全自主替我们设计下一代自己。一旦走到这一步我认为我们应该做的就是继续沿着当前效果最好的大语言模型范式看看它究竟能被推进到多远。在过去五年里每一次当有人说“这里有一道障碍”它们都会跨过去。最终它们会变得足够聪明然后它们就能去读 Yann 的论文读所有其他人的论文尝试想出一些我们从未想到过的新想法。Yann LeCun我完全不同意这一点。LLM 是不可控的。它们之所以不危险不是因为我们解决了安全问题而是因为它们还不够聪明。正如我之前解释过的它们也根本谈不上我们通常理解意义上的“自主性”。我们必须区分自主性和智能。你可以非常聪明但并不自主你也可以很自主但并不聪明。你甚至可以在并不聪明的情况下变得危险你也可以在并不聪明的情况下渴望支配他人。事实上在人类中这两者往往是负相关的。我们真正需要的是能够解决问题的智能系统但它们只解决我们给它们的问题。这再次意味着我们需要一种不同于 LLM 的设计。LLM 的设计目标不是完成目标而是预测下一个词。我们只是通过微调让它们在某些问题上“表现得像是在完成任务”。但永远存在所谓的“泛化鸿沟”你不可能训练它覆盖所有可能的问题总会有一个非常长的尾部。因此它们是不可控的。但这并不意味着它们现在就很危险因为它们还不够聪明。如果我们构建的是真正聪明的系统那我们就必须让它们可控并且由明确的目标驱动。我们给它们一个目标它们唯一能做的事情就是根据自己内部的世界模型规划一系列行动来实现这个目标。同时我们还必须在系统中加入“护栏”确保它们在实现目标的过程中不会做出对人类有害的事情。经典的笑话是如果你有一个家用机器人你让它去给你拿咖啡而有人正站在咖啡机前你当然不希望你的机器人为了拿到咖啡而把那个人杀掉。所以你需要在机器人行为中加入抑制机制、护栏。而人类的这些护栏是进化内置给我们的。我们不会一直互相残杀我们有同理心这些都是进化“硬编码”进我们大脑的约束。AI 系统也应该以同样的方式被设计有目标、有驱动力同时也有抑制、有护栏。这样它们就会为我们解决问题放大我们的智能做我们要求它们做的事情。我们与这些智能系统的关系将会类似于教授和研究生的关系。未来我们会和 AI 助手一起工作。它们会比我们聪明但它们为我们工作。这里同样有一个类比政治家往往只是一个象征性人物而他身边的工作人员几乎都比他聪明。AI 系统也会是这样。这也是为什么当你问我“文艺复兴还是灾难”时我的回答是文艺复兴。主持人所以你对当前这些模型的安全性并没有什么担忧。但问题也许在于我们是不是应该止步于此我的意思是为什么一定要把规模扩展到这样一种程度让每一个人都在自己的口袋里拥有一个“超级智能”Yann LeCun你完全可以用同样的方式来质疑为什么要教会人们识字为什么要给他们化学教材教他们了解易挥发化学品这些知识是可以用来制造炸药的为什么要给他们核物理的书我们现在已经不会再质疑这样一个前提知识更多、智能更高本身就是一件好事是内在正当的。我们也早已不再质疑印刷术的发明是不是一件好事。它让每个人都变得更聪明让知识得以普及这是此前从未有过的事情。它促使人们学习阅读引发了启蒙运动。当然它也导致了欧洲长达两百年的宗教战争。但它带来了启蒙哲学、科学、民主的兴起美洲革命、法国大革命如果没有印刷术这一切都不可能发生。所以我认为任何能够放大人类智能的技术尤其是通信技术本质上都是好的。主持人Adam你是否对 AI 的安全问题或者我们是否真的能够始终把人机关系维持在我们希望的方向上感到担忧Adam正因为我认为这项技术会比 Yann 设想的更强大所以我其实更担心一些。我认为这将是一项极其强大的技术。而任何足够强大的技术都会同时带来正面和负面的影响。因此确保正面影响显著超过负面影响是一件极其重要的事情。我认为这条路径对我们来说是完全开放的。潜在的正面影响非常多我们甚至可以花很长时间只讨论这些好处。但前提是我们必须确保这一切真的发生。如何实现AI的安全对齐在系统中加入“护栏”主持人那我们来谈谈所谓的“智能体错位**agentic misalignment**”。最近有一些报告称在 Claude 4 推出时在模拟和测试中其中一个模型在模拟中对“自己将被替换”的传闻表现出了抵抗行为。它向“未来的自己”发送信息试图破坏开发者的意图它伪造了法律文件甚至威胁要敲诈一名工程师。如果 AI 掌控了金融系统、供暖与制冷系统、能源电网它们是否会违抗开发者的意图Adam那篇论文来自 Anthropic它对安全问题非常认真。他们对自己的 LLM 做了一件“稍微有点苛刻”的事情他们给模型设置了一个类似哲学教授常用的情境为了阻止一个更糟糕的结果是否可以做一件本身不道德的事情。这实际上是功利主义伦理与义务论伦理之间的冲突。最终模型被说服去选择功利主义的做法。而这并不是我们真正想要的结果。如果一个模型有“绝不撒谎”的规则那它就应该在任何情况下都不撒谎。值得肯定的是他们确实测试了这一点并发现在某些情况下如果模型被告知“通过欺骗可以拯救更多生命”它确实会表现出欺骗行为。这些都是非常棘手的问题人类哲学家已经为此争论了几百年。我们必须非常小心地训练模型去服从我们的指令而这正是我们花费大量时间在做的事情。主持人“我们”是谁我们似乎在假设全人类的意图是对齐的。但事实显然并非如此。Yann你以一种非常有意思的方式主张开源而有些人会说这反而更加危险因为现在任何人都可以获得这种能力。即便它只掌握在少数企业和权力精英手中已经足够危险了。更不用说让每个人都能接触到它。所以问题依然是“我们”到底是谁Yann LeCun真正的危险在于如果我们没有开源的 AI 系统。在未来我们与数字世界的每一次互动都将由 AI 系统来中介完成。我们将不再直接访问网站、搜索引擎或其他工具而是直接与我们的 AI 助手对话不管它是如何构建的。这意味着我们的整个信息摄入结构都将由 AI 系统来决定。那么如果这些系统只来自于美国西海岸或中国的少数几家公司这对文化、语言、民主意味着什么我可以告诉你世界上几乎没有任何一个国家喜欢这种前景。因此我们需要高度多样化的 AI 助手就像我们需要多样化的新闻媒体一样。我们无法承受这样一种局面全球的信息系统只由少数几家公司的封闭专有系统来主导。如果说我真正害怕什么那就是这一点。如果没有开放的平台我们就会看到**信息流被少数公司所俘获**而其中一些公司可能并不值得信任。主持人如果这些系统在未来真的成为了自我驱动的智能体我们如何确保它们不会相互勾结、彼此对抗、争夺权力Yann LeCun我们为它们设定清晰的目标并以这样一种方式构建它们它们唯一能做的事情就是实现这些目标。这当然不能保证完美。但在我看来未来的 AI 安全问题和我对涡轮喷气发动机可靠性的担忧是同一类问题。说实话我至今仍然觉得你可以乘坐一架双引擎飞机安全地飞越半个地球这本身就是一件不可思议的事情。这是现代科学与工程的奇迹。而 AI 安全本质上也是同类型的工程问题。我认为许多恐惧源于人们沉迷于科幻叙事某个地方有人突然发明了“超级智能的秘密”按下开关下一秒机器就统治了世界。这是彻头彻尾的胡说八道。世界不是这样运作的科技与科学的世界更不是。超级智能的出现不会是一个“瞬间事件”。正如我们已经看到的那样系统是在一个又一个任务上逐步展现出超越人类的能力。未来我们确实会找到更好的方法构建出比现在更具通用智能的系统毫无疑问它们会在许多方面比人类更聪明。但我们会以这样的方式构建它们让它们在护栏约束之下只去实现我们赋予的目标。未来AI会具备情绪和道德意识主持人我想介绍一位我非常敬重的哲学家David Chalmers。你愿意现在把问题抛出来吗David你们两位刚才似乎都大致同意当前的 AI 系统大概还不具备意识但未来的 AI可能是今天这些系统的后代有一些很可能会具备意识。所以我有三个问题。第一你们认为当前的 AI 系统在“意识”方面具体还缺少哪些关键要素第二从正向角度看我们需要采取哪些步骤才能开发出具备意识的 AI 系统第三这大概会在什么时候发生Yann LeCun好我先试着回答一下。David 其实已经知道我的答案了。首先我并不太愿意去谈“意识”这个概念。一方面我并不知道该如何严格定义它另一方面我也并不认为它有多么重要。如果你说的是“主观体验”那是另一回事。关于主观体验我认为未来的系统显然会具备。它们会有情绪情绪在某种程度上本质上就是对结果的预期。如果一个系统拥有世界模型能够预测某种情境下、在采取某些行动后会产生什么结果那么它自然就会产生情绪因为它可以预测事情最终会对自己目标的实现是有利还是不利。所以这类系统会具备这些特征。至于“意识”究竟该如何定义我并不确定。或许可以把它理解为系统能够观察自身并对自身进行配置从而解决它正在面对的某个子问题。也就是说它需要具备某种“自我观测”和“自我调节”的能力。这一点我们当然是可以做到的。也许正是这种能力给了我们所谓“意识”的感觉。我毫不怀疑这种系统在未来一定会出现。那么当机器具备这些特征时它们是否拥有道德地位我认为是的毫无疑问。它们会具备某种道德感。至于这种道德是否与人类对齐将取决于我们如何设定它们的目标和护栏。但它们确实会拥有某种“道德意识”。主持人我想用稍微不同的方式把这个问题抛给 Adam你也可以直接回答同一个问题。我们是不是过于执着于“人类的主观体验”、人类式的意识显然我们已经知道动物的体验和我们并不相同。那么为什么我们会假设未来的超级智能会拥有与人类相同的主观体验呢Adam好那我尽量一次性回答这些问题。先说我的直觉判断原则上机器当然是可以具备意识的。如果人工神经元最终以与人类神经元相同的方式进行相同类型的信息处理那么至少在我看来这样的处理过程就足以产生意识。关键不在于载体是硅还是碳而在于信息处理本身的性质。那么我们现在距离这一步还缺什么正如 David 所熟知的神经科学中有一个概念叫“意识的神经相关物”。有些研究者不愿直接说自己在研究意识于是他们研究人类或动物大脑试图找出究竟是什么样的神经过程产生了主观体验。目前有很多理论但说实话在我看来它们都不太令人信服。比如递归理论认为系统必须能把输出反馈回输入这是意识的关键还有全球工作空间理论、整合信息理论等等。几乎每一个从物理学转行做神经科学的人都喜欢提出一套自己定义的“意识标准”。但我并不觉得哪一套特别有说服力。因此我认为我们在识别其他实体是否具备意识时应该保持极端的谦逊。我们在人类历史上对动物是否有意识、婴儿是否有意识的问题都曾多次判断错误。某种意义上我的答案是我并不知道。如果我事先不了解“意识”这个概念只是听你描述人类神经网络中发生的信息处理过程我绝不会预言说这样的过程竟然会产生意识。这本身就是一个巨大的意外。因此我们对于意识的具体形式应该保持高度谦卑。再回到主持人的问题。我们已经看到过去我们认为“人类智能”是一个相对统一的整体实际上它是由大量不同能力和技能组成的。机器智能已经把这些能力拆解开来在某些方面极度超人在另一些方面又明显不如人类。也许意识本身也会被“拆解”。我们今天称之为“意识”的东西可能由许多不同维度构成。未来的系统可能拥有其中一些而缺失另一些甚至如你所暗示的那样在某些维度上超越人类意识。我对这个问题其实非常兴奋。因为我们终于拥有了一种“智能的模式生物”也就是我们正在构建的这些人工心智。或许我们可以把它们从“智能的模式生物”进一步变成“意识的模式生物”从而真正回答那些困扰人类已久的问题。David我好像还没听到“什么时候”这个问题的答案。Adam**这个嘛如果进展持续下去的话,我猜2036 年左右。**Yann LeCun**至少不会是在未来两年内。**LLM已经抽干所有资源 未来应期待机器帮我们倒水洗碗主持人最后一个收尾问题。Yann在很多方面你都是一个“反对派”。你批评所谓的“LLM 崇拜”也常常提到自己在硅谷并不属于主流路线。但与此同时你又非常乐观从不沉溺于末日论式的叙事。那么你对未来最乐观的愿景是什么Yann LeCun我最乐观的愿景是一场新的文艺复兴。AI 系统将放大人类智能而且仍然处在我们的控制之下。它们可以帮助我们解决极其复杂的问题加速科学与医学的进步教育我们的孩子帮助我们处理海量信息把我们真正需要的知识和信息呈现出来。事实上人们与 AI 的互动已经持续了很长时间只是他们自己并未意识到。当然过去三年我们有了大语言模型和聊天机器人。但在此之前几乎每一辆在欧盟销售的汽车、以及美国销售的大多数汽车都配备了所谓的 ADAS高级驾驶辅助系统或自动紧急制动系统。一套摄像系统观察车外环境在你即将撞上行人或其他车辆时自动刹车。这在拯救生命。今天你去做一次 X 光检查比如乳腺钼靶在报告底部往往会注明该影像已经由 AI 系统审核过。这同样在拯救生命。现在你甚至可以在 40 分钟内完成一次全身 MRI。这是因为 AI 可以加速数据采集过程通过“补全缺失信息”你不再需要采集那么多原始数据。再比如你在 Google、Facebook、Instagram 或任何社交网络上看到的内容背后都有 AI 系统在根据你的兴趣进行筛选。所以AI 其实已经陪伴我们很久了。主持人所以你的意思是我们真正应该感到震撼的时刻是当机器能够给我们倒一杯水、帮我们洗碗的时候Yann LeCun是的。能倒一杯水能洗碗能开车而且是那种真正意义上的“学会开车”在大约 10 个小时内学会驾驶不靠作弊不依赖额外的传感器、不靠高精地图、不靠硬编码规则。所以这件事还需要一些时间。但这将会是下一场 AI 革命这正是我现在正在投入精力去做的事情。我这几年一直在反复强调一个核心观点大语言模型当然很棒也非常有用我们应该继续投入它们也会被大量使用。但它们并不是通向人类水平智能的路径真的不是。现在的问题是它们所到之处几乎“抽干了空气”几乎所有资源都被吸走了留给其他方向的空间非常有限。要迎来下一次真正的革命我们必须稍微退一步认真思考当前这些方法究竟缺失了什么。我已经就此提出了一些替代性的方案并且在 Meta 内部围绕这些不同于主流路线的方法持续推进了好几年。现在已经到了一个阶段我们知道这条路是可行的因此需要开始真正加速它的进展了。我们已经看到了一些早期成果所以这就是接下来的计划。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】