快速浏览一下头条新闻就会发现，如今，生成式人工智能似乎无处不在。事实上，其中一些标题实际上可能是由生成式人工智能编写的，比如OpenAI的聊天机器人ChatGPT，它展示了一种不可思议的能力，可以生成似乎是人类写的文本。

但是，当人们说“生成式人工智能”时，真正的意思是什么呢?

在过去几年人工智能蓬勃发展之前，当人们谈论人工智能时，他们通常谈论的是可以学习根据数据做出预测的机器学习模型。例如，这样的模型经过训练，使用数以百万计的例子来预测某个x光片是否显示肿瘤的迹象，或者某个特定的借款人是否有可能拖欠贷款。

生成式人工智能可以被认为是一种机器学习模型，它被训练来创建新数据，而不是对特定的数据集进行预测。生成式人工智能系统是一种学习生成更多看起来像训练数据的对象的系统。

“当涉及到生成人工智能和其他类型人工智能的实际机器时，区别可能有点模糊。麻省理工学院电子工程与计算机科学副教授、计算机科学与人工智能实验室(CSAIL)成员菲利普·伊索拉(Phillip Isola)说:“通常情况下，相同的算法可以同时用于这两种情况。”

尽管ChatGPT及其同类产品的发布带来了炒作，但这项技术本身并不是全新的。这些强大的机器学习模型借鉴了50多年前的研究和计算进步。

复杂性的增加

生成式人工智能的一个早期例子是一个更简单的模型，即马尔可夫链。这项技术是以俄罗斯数学家安德烈·马尔科夫的名字命名的，他在1906年引入了这种统计方法来模拟随机过程的行为。在机器学习中，马尔可夫模型一直被用于下一个单词的预测任务，比如电子邮件程序中的自动完成功能。

在文本预测中，马尔可夫模型通过查看前面的单词或前面的几个单词来生成句子中的下一个单词。麻省理工学院电子工程和计算机科学托马斯·希贝尔教授Tommi Jaakkola也是CSAIL和数据、系统和社会研究所(IDSS)的成员，他说，因为这些简单的模型只能回顾那么远的历史，所以它们并不擅长生成可信的文本。

他解释说:“在过去十年之前，我们就已经在生成东西了，但这里的主要区别在于我们可以生成的物体的复杂性和我们可以训练这些模型的规模。”

就在几年前，研究人员倾向于寻找一种机器学习算法，以充分利用特定的数据集。但这个焦点已经发生了一些变化，许多研究人员现在正在使用更大的数据集，可能有数亿甚至数十亿个数据点，来训练能够取得令人印象深刻结果的模型。

ChatGPT和类似系统的基础模型的工作方式与马尔可夫模型非常相似。但一个很大的区别是ChatGPT更大更复杂，有数十亿个参数。它已经接受了大量数据的训练——在这种情况下，大部分是互联网上公开可用的文本。

在这个庞大的文本语料库中，单词和句子以一定的依赖关系顺序出现。这种递归有助于模型理解如何将文本切割成具有一定可预测性的统计块。它学习这些文本块的模式，并利用这些知识提出接下来可能出现的内容。

更强大的架构

虽然更大的数据集是导致生成式人工智能繁荣的一个催化剂，但各种重大研究进展也导致了更复杂的深度学习架构。

2014年，蒙特利尔大学的研究人员提出了一种被称为生成对抗网络(GAN)的机器学习架构。GANs使用两个协同工作的模型:一个学习生成目标输出(如图像)，另一个学习从生成器的输出中区分真实数据。生成器试图欺骗鉴别器，并在此过程中学习做出更真实的输出。图像生成器StyleGAN就是基于这些类型的模型。

一年后，斯坦福大学和加州大学伯克利分校的研究人员引入了扩散模型。通过迭代地改进它们的输出，这些模型学习生成与训练数据集中的样本相似的新数据样本，并已被用于创建逼真的图像。扩散模型是文本到图像生成系统Stable diffusion的核心。

2017年，谷歌的研究人员引入了转换器架构，该架构已被用于开发大型语言模型，例如支持ChatGPT的那些模型。在自然语言处理中，转换器将文本语料库中的每个单词编码为一个标记，然后生成一个注意图，该图捕获每个标记与所有其他标记的关系。这个注意图帮助转换器在生成新文本时理解上下文。

这些只是可用于生成人工智能的众多方法中的一小部分。

一系列应用

所有这些方法的共同点是它们将输入转换为一组令牌，这些令牌是数据块的数字表示。只要您的数据可以转换为这种标准的令牌格式，那么从理论上讲，您就可以应用这些方法来生成看起来类似的新数据。

伊索拉说:“你的效果可能会有所不同，这取决于你的数据有多嘈杂，信号提取有多困难，但它确实越来越接近于通用CPU接收任何类型的数据并开始以统一的方式处理它的方式。”

这为生成式人工智能打开了一个巨大的应用阵列。

例如，伊索拉的团队正在使用生成式人工智能来创建合成图像数据，这些数据可用于训练另一个智能系统，例如教计算机视觉模型如何识别物体。

Jaakkola的团队正在使用生成式人工智能来设计新的蛋白质结构或指定新材料的有效晶体结构。他解释说，与生成模型学习语言依赖关系的方式相同，如果向它展示晶体结构，它可以学习使结构稳定和可实现的关系。

但是，虽然生成模型可以取得令人难以置信的结果，但它们并不是所有类型数据的最佳选择。麻省理工学院电子工程和计算机科学教授、IDSS和信息与决策系统实验室成员Devavrat Shah表示，对于涉及对结构化数据(如电子表格中的表格数据)进行预测的任务，生成式人工智能模型的表现往往优于传统的机器学习方法。

“在我看来，它们的最高价值是成为对人类友好的机器的绝佳界面。以前，人类必须用机器的语言与机器交谈才能使事情发生。现在，这个界面已经找到了如何与人类和机器对话的方法。”

竖起红旗

生成式人工智能聊天机器人现在被用于呼叫中心，以回答人类客户的问题，但这一应用凸显了实施这些模型的一个潜在危险信号——工人被取代。

此外，生成式人工智能可以继承和扩散训练数据中存在的偏见，或者放大仇恨言论和虚假陈述。这些模型具有抄袭的能力，并且可以生成看起来像是由特定的人类创作者制作的内容，从而引发潜在的版权问题。

另一方面，沙阿提出，生成人工智能可以赋予艺术家权力，他们可以使用生成工具来帮助他们制作创造性的内容，否则他们可能没有办法制作。

他认为，在未来，生成式人工智能将改变许多学科的经济学。

Isola认为，生成式人工智能未来的一个有希望的方向是将其用于制造业。与其让模型制作椅子的图像，不如让模型为可以生产的椅子生成一个计划。

他还认为，生成式人工智能系统的未来用途是开发更智能的人工智能代理。

“这些模型的工作方式和我们认为人类大脑的工作方式有所不同，但我认为它们也有相似之处。我们有能力在头脑中思考和梦想，提出有趣的想法或计划，我认为生成式人工智能是赋予代理人这样做的工具之一，”伊索拉说。

作者：Adam Zewe b| MIT新闻

链接：https://news.mit.edu/2023/explained-generative-ai-1109

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：15264513609，邮箱：1027830374@qq.com