助力解决AI“幻觉”难题，英伟达发布开源软件NeMo Guardrails

ChatGPT的走红，让越来越多的人认识了大型语言模型（Large Language Models, LLM）。OpenAI的Chat GPT和谷歌开发的LaMDA等AI语言模型，往往需要在数千兆字节的数据上进行训练，而只有这样才能创建可以吐出文本块的程序，使其生成的内容就像人类写的一样。

但是，这些人工智能程序也有"捏造"的倾向，这通常被研发人员称为"幻觉"。语言类AI技术的早期应用，比如总结文件或回答问题，需要尽量减少幻觉，以便真正地发挥作用。

为了解决“幻觉”问题，包括谷歌和OpenAI在内的人工智能公司，已经使用了一种称为从人类反馈中强化学习的方法，以防止AI模型输出有害的信息。在这种方法里往往需要真人测试者的参与，他们会给AI提供合宜的数据，然后用这些数据训练AI模型。

最近，英伟达开发出一款名为NeMo Guardrails的软件，借此来防止AI大模型出现"幻觉"。4月25日，英伟达宣布将该软件进行开源，以方便研发AI大模型的公司使用，它可以阻止AI模型说错误的话、谈论有害的话题、亦或是打开漏洞软件。

NeMo Guardrails可以通过添加“护栏”，来防止AI模型处理它不应该处理的话题。具体来看，NeMo Guardrails可以阻止AI模型谈论特定的话题、阻止有毒内容的生成、并可以防止它在计算机上执行有害的命令。

借助NeMo Guardrails开发者可以构建三种边界：分别是主题护栏、功能安全护栏、信息安全护栏。NeMo Guardrails对软件开发人员非常友好，他们不需要成为机器学习专家或数据科学家，只需几行代码就可以快速创建新的规则。

在AI模型生成内容之前，NeMo Guardrails就能阻止后者产生不良结果或不良提示。具体来说，如果你有一个客户服务聊天机器人，想谈论你的产品，那么你可能不希望它向竞争对手透露相关信息。这意味着，你想时刻监控对话，如果发生这种情况，你就把对话引导到你喜欢的话题上。而这，就是NeMo Guardrails能做的事情之一。

仍以聊天机器人的场景为例，当你试图用AI了解企业内部的人力资源问题，NeMo Guardrails能够帮助添加"护栏"，从而让AI模型不予理会有关该公司财务业绩的问题、或者去访问员工的私人数据，进而保护公司的数据安全和信息安全。

图 | NeMo Guardrails为AI建立“护栏”（来源：英伟达）

NeMo Guardrails还可以控制AI模型输出的具体方式，例如不谈论政治、以特定方式响应特定的用户请求、遵循预定义的对话路径、使用特定的语言风格、提取结构化数据等等。

NeMo Guardrails的两个突出优点在于：

首先，它可以帮助构建可信的、安全的LLM对话系统，从而通过编写rails来指导对话。对于LLM驱动的机器人在某些主题上的行为，开发人员可以对其进行定义，并能保证AI模型在其他方面的创造力不受影响。

其次，Nemo Guardrials 可以连接和调用AI已经存在的模型和服务，也就是NeMo Guardrails可以将用户的代码库或服务，和AI模型无缝、安全地连接起来。

图 | NeMo-Guardrails的代码开源（来源：Github）

英伟达表示，研发人员只需使用Colang编程语言，就能为AI模型编写自定义规则。作为一个开源工具包，NeMo-Guardrails可以和开发者常用的几乎所有工具相兼容。同时，由于该软件是开源的，因此来自GitHub社区的贡献，也会让这一软件更加可靠和实用。

作为AI模型的研发人员，Zapier的AI首席产品经理雷德·罗宾逊（Reid Robinson）表示，“一个负责任的AI开发的前提是功能安全，信息安全和信任，对于英伟达主动将护栏嵌入AI智能系统（这件事），我们感到非常兴奋。”

如今，英伟达正越来越多地将其注意力转向人工智能，同时，也在通过开发机器学习的关键软件，来保持其在人工智能芯片市场的领先地位。软硬结合，也将让英伟达在AIGC时代更好地服务千行百业。