随着生成式人工智能的兴起,安全性、隐私性和可靠性等问题日益凸显。为应对这一挑战,微软公司近日推出了一系列解决方案,以防止生成式AI失控。

首先,微软限制了Copilot的人数,并减小其幻觉发作的可能性。此外,微软还引入了“基础检测”功能来帮助用户识别文本中的幻觉。该功能能自动检测文本中的“ungrounded material”,从而提高生成式语言模型(LLM)输出的质量和信任度。

为了检测和阻止提示注入攻击,微软将发布“Prompt Shields”。这个工具可用于在间接提示攻击对模型产生影响之前对其进行识别,并且它也将作为Azure AI Content Safety服务中即将推出的新特性。

另外,在输出质量方面,微软还将推出“Groundedness detection”功能。该功能主要检测模型输出中的“幻觉”,从而帮助用户识别基于文本的幻觉。

同时,微软还将提供一个名为“Safety system messages”的工具来引导模型朝着安全和负责任的方向发展。此外,他们也将评估应用程序在越狱攻击和生成内容风险方面的脆弱性,并通过“Risk and safety monitoring”功能向用户提供信息以减轻这些风险。

总之,微软公司正在努力开发一系列工具来帮助开发者构建更加安全、可靠、可信的生成式AI应用。这些新工具包括:Prompt Shields、Groundedness detection、Safety system messages和Safety evaluationsde等。未来我们有望看到更多相关功能的推出和完善。

(8636764)

友情提示

本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!

联系邮箱:1042463605@qq.com