发帖
雷达卡
OEXN报道：自从ChatGPT自去年爆火后，它的安全问题的警告也层出不穷，为了追求“更安全”的文本生成模型英伟达公司在周二发布了“NeMo Guardrails”的开源工具包，旨在使基于 AI 应用程序更加“准确、合理、切合主题和安全”。
对此英伟达的高管表示：“大家都意识到了大型AI生成语言模型的力量，因为用一种安全可靠的力量部署是十分重要的。”并且他指出，公司已经在Guardrails的底层系统上工作了"多年"，大概在一年前就意识到了它很适合GPT-4和ChatGPT这样的模型。
具体来说，Guardrails 可用于防止模型偏离主题，以不准确的信息和极为负面的语言作为响应，不过英伟达也承认工具包也并非十分完美，也无法涵盖所有问题。
高盛分析师表示：“撇开技术有效性不谈， Guardrails作为该公司NeMo框架的一部分，可通过英伟达企业AI软件套件和NeMo完全管理的云服务所得，任何公司要是都能实施 Guardrails的开源版本，那么英伟达肯定希望这些公司为托管付费。”
OEXN的分析师表示：“随着AI的发展需要大量持续的研究，Guardrails 为释放社区的巨大能量及推动AI安全作出了贡献，英伟达也在尽力帮助企业确保他们在AI服务上满足功能安全、以及隐私安全，从未让这些创新引擎中保持正规。”
他指出生成式AI模型和大型语言模型一个主要挑战的是用户可能得到不适当或不准确的回应的风险。
京公网安备 11010802022788号
