原创 | 文 BFT机器人

快速浏览一下头条新闻，你会发现生成式AI似乎无处不在。事实上，一些新闻标题甚至可能是通过生成式AI编写的，例如OpenAI旗下的ChatGPT，这个聊天机器人已经展现出了生成看起来像人类所写文本的惊人能力。

当人们提到“生成式人工智能”时，他们指的到底是什么？

在生成式AI热潮兴起之前，当人们谈论人工智能时，通常是指那些可以基于数据进行预测的机器学习模型。例如，通过数百万个示例对此类模型进行训练，以预测某种X射线是否显示出肿瘤的迹象，或者某个借款人是否可能拖欠贷款。

生成式 AI 可以被认为是一种另类的机器学习模型，经过训练后可以创建新数据，而不是对特定数据集进行预测。生成式AI系统指的是用来生成类似于其训练数据的更多对象的系统。“当涉及到生成式AI和其他类型的AI背后的技术时，它们之间的界限可能有点模糊。通常相同的算法可以用于两者，“麻省理工学院电气工程与计算机科学副教授、计算机科学与人工智能实验室（CSAIL）成员Phillip Isola表示。

尽管 ChatGPT 及其同类产品的发布引起了广泛的关注和讨论，但该技术本身并不是全新的。这些强大的机器学习模型是基于超过50年的研究和计算技术进步。

01

复杂性的提升

生成式AI的一个早期实例被称为马尔可夫链。该技术以俄罗斯数学家安德烈·马尔科夫（Andrey Markov）的名字命名，他在1906年引入了这种统计方法来模拟随机过程的行为。在机器学习中，马尔可夫模型长期被用于如电子邮件程序中预测下一个单词的自动填充任务。

在文本预测中，马尔可夫模型能够通过分析前一个或几个单词来生成句子中的下一个单词。但这些模型由于只能回顾有限的信息，因此生成的文本往往不够合理，MIT电气工程与计算机科学Thomas Siebel教授、CSAIL和数据、系统与社会研究所(IDSS)成员Tommi Jaakkola表示。“我们在过去十年之前就开始进行生成式操作，但主要区别在于我们现在能生成的对象的复杂性以及训练这些模型的规模。”他补充道。

在几年前，研究人员倾向于寻找一种能够充分利用特定数据集的机器学习算法。但现在这种焦点已经略有转移，许多研究人员开始利用更大规模的数据集，可能包括数亿甚至数十亿数据点，来训练能够取得卓越成果的模型。

ChatGPT及其类似系统的基础模型在工作方式上与马尔可夫模型大致相同。区别在于，ChatGPT规模更大、更复杂，有数十亿个参数，并且它已经接受了互联网上可公开获取的大量数据的训练。在这个庞大的文本资料库中，单词和句子以具有某些依赖关系的顺序出现，这种重复性有助于模型了解如何将文本切割为具有一定可预测性的统计块。模型通过学习这些文本块的模式，并利用此知识来预测接下来可能出现的内容。

02

更强大的架构

庞大的数据集是推动生成式AI热潮的催化剂之一，重要的研究进展也促成了更为复杂的深度学习架构的发展。

2014年，蒙特利尔大学的研究人员提出了一种名为生成对抗网络（GAN）的机器学习架构。GAN使用两个协同工作的模型：一个学习生成目标输出（如图像），另一个学习从生成器的输出中区分真实数据。生成器试图欺骗鉴别器，并在此过程中学习制作更逼真的输出。图像生成器StyleGAN就是基于此类模型的实例。

此后一年，斯坦福大学和加州大学伯克利分校的研究人员引入了扩散模型，通过迭代优化其输出，这些模型可以学习生成类似于训练数据集中样本的新数据样本，并用于创建逼真的图像。

2017年，谷歌的研究人员推出了transformer架构，该架构已被用于开发大型语言模型，比如驱动ChatGPT的模型。在自然语言处理中，Transformer将文本语料库中的每个词编码为一个令牌，然后生成一个注意力图，该图捕捉每个令牌与所有其他令牌的关系。这个注意力图帮助Transformer在生成新文本时理解上下文。

这些仅仅是可用于生成式AI的众多方法中的一小部分。

03

应用范围广泛

这些方法的共同特点是将输入转换为一组令牌，这些令牌是数据块的数值表示形式。只要数据可以转换为这种标准的令牌格式，理论上可以应用这些方法来生成类似的新数据。“效果会因数据复杂度和信号提取难度而异，但它实际上越来越接近于通用CPU处理任意类型数据的方式，”Isola表示。

这为生成式AI开辟了大量的应用场景：

例如，Isola的团队正在使用生成式AI来创建合成图像数据，这些数据可用于训练另一个智能系统，例如教计算机视觉模型如何识别物体。Jaakkola的团队正在使用生成式AI来设计新的蛋白质结构或有效的晶体结构以指定新材料。就像生成模型学习语言的依赖性一样，如果展示晶体结构，它也可以学习使结构稳定和可实现的关系。

尽管生成模型可以取得惊人的成果，但它们并非适用于所有类型的数据，对于那些涉及在结构化数据（如电子表格中的表格数据）上进行预测的任务，生成式AI模型往往不如传统的机器学习方法。

04

生成式AI的机遇与风险

生成式AI聊天机器人目前在呼叫中心被用来解答客户的问题，但这一应用凸显了实施这些模型可能带来的一个潜在问题——人类的工作岗位被替代。此外，生成式AI可能会继承和扩散训练数据中存在的偏见，或放大仇恨言论和虚假陈述。同时这些模型具有抄袭的能力，并且可以生成看起来像是由特定人创作的内容，从而引发潜在的版权纠纷。

但另一方面，麻省理工学院的研究人员提出，生成式AI可能赋能艺术家，他们可以利用生成工具帮助创作他们可能无法用其他方式制作的创意内容。而在其他领域——如制造业，研究人员认为，在未来生成式AI不仅是让模型生成椅子的图像，它也许能生成可实际制造的椅子设计方案，这类应用或将彻底改变许多领域的经济格局。

END

若您对该文章内容有任何疑问，请与我们联系，我们将及时回应。