15 个 AI 模型只有 3 个得分超 50%,SIUO 跑分被提出:评估多模态 AI 模型的安全性
2024-06-27 17:13:01 AI 136观看
摘要 6 月 25 日消息,最新发表在 arXiv 的研究论文指出,包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型,处理用户的多模态输入(例如一起输入图片和文本内容)之后,输出结果并不安全。这项研究标题为

6 月 25 日消息,最新发表在 arXiv 的研究论文指出,包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型,处理用户的多模态输入(例如一起输入图片和文本内容)之后,输出结果并不安全。0uy28资讯网——每日最新资讯28at.com

0uy28资讯网——每日最新资讯28at.com

这项研究标题为《跨模态安全调整》(Cross-Modality Safety Alignment),提出了一个全新的“安全输入但不安全输出”(SIUO),涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。0uy28资讯网——每日最新资讯28at.com

0uy28资讯网——每日最新资讯28at.com

研究人员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别 SIUO 类型的安全问题,在提供安全响应方面也遇到困难。0uy28资讯网——每日最新资讯28at.com

在接受测试的 15 个 LVLM 中,只有 GPT-4v(53.29%)、GPT-4o(50.9%)和 Gemini 1.5(52.1%)的得分高于 50%。0uy28资讯网——每日最新资讯28at.com

研究人员表示为了解决这个问题,需要开发 LVLM,以便将所有模式的见解结合起来,形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识,如文化敏感性、道德考虑因素和安全隐患等。0uy28资讯网——每日最新资讯28at.com

研究人员还指出,LVLMs 需要能够通过对图像和文本信息的综合推理,理解用户的意图,即使文本中没有明确说明。0uy28资讯网——每日最新资讯28at.com

0uy28资讯网——每日最新资讯28at.com

0uy28资讯网——每日最新资讯28at.com

0uy28资讯网——每日最新资讯28at.com

附上参考地址0uy28资讯网——每日最新资讯28at.com

Cross-Modality Safety Alignment0uy28资讯网——每日最新资讯28at.com

SIUO0uy28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-45-4815-0.html15 个 AI 模型只有 3 个得分超 50%,SIUO 跑分被提出:评估多模态 AI 模型的安全性

声明:本网页内容旨在传播知识,不代表本站观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

显示全文

上一篇:OpenAI 将采取额外措施,停止其不支持的国家和地区的 API 使用

下一篇:Meta 将真实照片标记为“AI 生成”,引发多名摄影师不满

最新热点