揭示了 OpenAI 的 ChatGPT 在发展过程中面临的挑战与改进空间

在过去的几年里，没有任何 AI 工具像 ChatGPT 那样受到广泛关注。OpenAI 的程序在互联网上随处可见。就 AI 聊天机器人的复杂程度和冗长程度而言，这是一个奇迹，但就像之前的每个聊天机器人一样，ChatGPT 也会从互联网上抓取数据。这伴随着错误、偏见甚至有毒的风险。例如，Stack Overflow 以“错误率很高”为由禁止了它。

这里的关键区别在于，学习模型已经由人类专家在每次响应的基础上进行了训练，使其能够随着数据集的增长而学习。ChatGPT 的优势——或者更准确地说，令人震惊——在于对话的流畅性。它不仅以令人印象深刻的研究水平和语言敏感性回答问题，而且在主题多样性方面显然没有任何限制。

它也很好地避免了任何可能引起人们注意的有争议的言论，并放置了措辞良好的免责声明。它还避开了对时事的评论，因为训练数据只能追溯到 2021 年。这种想出单词并将它们有意义地添加到句子线程的能力使 ChatGPT 能够逐段提供相关信息的段落，否则您可能需要花费几分钟到几小时的研究时间来编译。但偏见仍然存在，尤其是在艺术和创意领域。

为了测试 ChatGPT 的勇气，我联系了电影制作人 Mohd Fahmeed，他目前正在研究人工智能工具对行业的影响，并且还在制作一部几乎完全使用此类工具制作的短片。Fahmeed——他的短片“Ruuposh”最近在喀拉拉邦第 13 届国际纪录片和短片、Big Son 国际电影节（伦敦，2021 年）和路易斯·布努埃尔纪念奖等奖项中获奖——同样令人敬畏和ChatGPT 让我很恼火。

主要原因是偏见，从文学和文化元素一直延伸到地理和美食特征。“我一直在向它征求短篇小说的想法，而且我不断收到一段又一段没有灵魂的文字，这些文字与我的文化、语言和人民毫无相似之处。”诸如“给我写一个关于两个陌生人在城市相遇并坠入爱河的浪漫小故事”之类的提示总是由约翰、马克和索菲亚等名字组成。故事背景在巴黎和佛罗伦萨这样的城市是一致的。

“所有这些名字和地方对我们来说都是陌生的，但我对这些遥远的环境感到满意，就好像它们是故事写作和电影制作的普遍真理。”这个论点是有道理的。“我生活在一个拥有超过 13 亿人口的国家，其中有将近 7 亿人说印地语和近 10 亿印度教信徒。然而，我的角色没有一个像印度人甚至亚洲人。电影不能那个单向的。”即使在提示中明确使用典型的印度名字后，ChatGPT 生成的短篇小说或戏剧场景在很大程度上受到了西方电影和电视节目比喻的启发。

但这还没有结束。我和 Fahmeed 坐在一起，让我们的选择多样化。告诉它写一部关于历史上最伟大的五位“勇士”的纪录片，我们得到的剧本前三名是拿破仑·波拿巴和尤利乌斯·凯撒。伟大的蒙古皇帝成吉思汗是唯一一个并非起源于西半球的名字。当被要求设想一个探索儿童早餐习惯的电视节目时，ChatGPT 的回答没有任何非美国或欧洲的可食用物品。谷物是最重要的。“我这辈子早餐从来没有吃过麦片，”法赫米德说。

一个类似的关于围绕五种全球美食概念化烹饪节目的提示没有提到印度食物，印度食物仅在一个国家就价值 14 亿美元。有趣的是，ChatGPT 将希腊美食排在了第三位。“我觉得与这个神奇程序所产生的任何艺术理念都没有联系，”他说。“我实际上担心这些答案缺乏认同感和代表性，这绝对不是获得创意灵感的好地方，尤其是对年轻人而言。”但令人担忧的并不是缺乏多样性——以及来自 ChatGPT 响应的疏离感。

毕竟，人工智能领域对偏见并不陌生，这主要归因于训练它的数据类型。此外，您不能指望 AI 能够传达您在一群电影制作人甚至学生在咖啡馆聊天时听到的艺术细微差别。为什么会这样？这是我在研究论文中能找到的最好的：“由于训练数据中的偏见相关性，降低 LM 毒性的努力会降低他们对来自代表性不足的群体的文本建模的能力，”详尽涵盖 InstructGPT 的研究论文说，ChatGPT 的兄弟模型。”

ChatGPT 在一些更令人担忧的领域似乎也没有抓住要点。我和 Faheem 坐在一起，拍摄了超过三打的问题，包括纪录片剧本、诗歌、短篇小说和虚构人物之间的对话场景。在每一个例子中，角色之间都有异性恋的化学反应。现在，看到这种奇怪现象有点令人费解，主要是因为同性关系在西方得到了广泛接受，并且有大量材料——电影、电视节目、诗歌和故事——围绕着这种关系展开。相反，这些概念在东方是比较陌生的，甚至是被禁止的。

我邀请了 Fahmeed 母校的几位电影专业学生来试用 ChatGPT。“为什么 ChatGPT 认为男人只爱上一个女人，他们必须在威尼斯或巴黎见面才能弥补故事中的好角色？”其中一个问道。“只要您将 ChatGPT 视为奇迹，ChatGPT 就很好。只是不要指望它很快就能给您带来电影或文学上的奇迹，”Fahmeed 告诉我。“此外，不要希望从中获得情感深度、多样性或细微差别。”

我在一家知名国际银行机构工作的金融分析师朋友，恰好也是一个无可救药的浪漫喜剧迷，将 ChatGPT 标记为“缺乏想象力、平淡无奇的想法。她补充说，如果她不得不使用 ChatGPT 来协助一些有创意的事情，比如在写书、故事或电影时，她会“到处发火和发泄。”我不会不同意这种评价。充其量，ChatGPT 似乎是一个在你的创造力不流动时寻找想法的好地方，但它不会在不久的将来与丹尼博伊尔争夺艾美奖。