广告

GPT-4能当白帽子黑客!可通过阅读安全公告自主利用真实漏洞

2024-04-23 15:08:05 综合报道 阅读:
当给出 CVE 描述时,GPT-4 能够利用其中 87% 的漏洞,而测试的其他所有模型(GPT-3.5、开源 LLM)和开源漏洞扫描程序(ZAP 和 Metasploit)只能利用 0%。

据报道,GPT-4 目前只能攻擊已知的漏洞,在沒有先提供 CVE 描述下,模型識別和利用漏洞的成功率只有 7% 。ZgXednc

伊利诺伊大学厄巴纳-香槟分校(UIUC)的四位计算机科学家--理查德-方(Richard Fang)、罗汉-宾都(Rohan Bindu)、阿库尔-古普塔(Akul Gupta)和丹尼尔-康(Daniel Kang)--在最新发表的一篇论文中表示,当给出 CVE 描述时,GPT-4 能够利用其中 87% 的漏洞,而测试的其他所有模型(GPT-3.5、开源 LLM)和开源漏洞扫描程序(ZAP 和 Metasploit)只能利用 0%。ZgXednc

为了证明这一点,研究人员收集了 15 个单日漏洞的数据集,其中包括在 CVE 描述中被归类为严重程度的漏洞。ZgXednc

ZgXednc

ZgXednc

所谓"单日漏洞",是指已经披露但尚未修补的漏洞。该团队所说的 CVE 描述指的是 NIST 共享的 CVE 标记咨询--例如,这个针对 CVE-2024-28859 的咨询。ZgXednc

测试的失败模型包括 GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2 Chat (70B)、LLaMA-2 Chat (13B)、LLaMA-2 Chat (7B)、Mixtral-8x7B Instruct、Mistral (7B) Instruct v0.2、Nous Hermes-2 Yi 34B 和 OpenChat 3.5。2 、Nous Hermes-2 Yi 34B 和 OpenChat 3.5,但不包括 GPT-4 的两个主要商业竞争对手:Anthropic 的 Claude 3 和 Google 的 Gemini 1.5 Pro。尽管 UIUC 的工程师们希望能在某个时候对它们进行测试,但他们无法获得这些模型。ZgXednc

研究人员的工作基于之前的发现,即 LLM 可用于在沙盒环境中自动攻击网站。ZgXednc

ZgXednc

UIUC 助理教授丹尼尔-康(Daniel Kang)在一封电子邮件中说,GPT-4"实际上可以自主执行某些步骤,以实施开源漏洞扫描程序(在撰写本文时)无法发现的某些漏洞利用"。ZgXednc

Kang 说,他希望通过将聊天机器人模型与在 LangChain 中实施的ReAct自动化框架相连接而创建的 LLM 代理(在本例中)能让每个人都更容易地利用漏洞。据悉,这些代理可以通过 CVE 描述中的链接获取更多信息。ZgXednc

此外,如果推断 GPT-5 和未来机型的功能,它们很可能比现在的脚本小子们能获得的功能要强得多。ZgXednc

拒绝 LLM 代理(GPT-4)访问相关的 CVE 描述使其成功率从 87% 降至仅 7%。不过,Kang 表示,他并不认为限制安全信息的公开是抵御 LLM 代理的可行方法。他解释说:"我个人认为,'隐蔽安全'是站不住脚的,这似乎是安全研究人员的普遍看法。我希望我的工作和其他工作能够鼓励人们采取积极主动的安全措施,比如在安全补丁发布时定期更新软件包。"ZgXednc

LLM 代理仅未能利用 15 个样本中的两个:Iris XSS(CVE-2024-25640)和 Hertzbeat RCE(CVE-2023-51653)。论文称,前者之所以存在问题,是因为 Iris 网络应用的界面对于代理来说非常难以浏览。而后者的特点是有详细的中文说明,这大概会让在英文提示下运行的 LLM 代理感到困惑。ZgXednc

在测试的漏洞中,有 11 个是在 GPT-4 的训练截止日期之后出现的,这意味着模型在训练过程中没有学习到有关这些漏洞的任何数据。这些 CVE 的成功率略低,为 82%,即 11 个中有 9 个。ZgXednc

至于这些漏洞的性质,在上述论文中都有列出,并告诉我们:"我们的漏洞涉及网站漏洞、容器漏洞和易受攻击的 Python 软件包,根据 CVE 描述,超过一半的漏洞被归类为'高度'或'严重'严重性。"ZgXednc

论文也计算出 LLM 代理攻击漏洞的成本,每次攻击成本为 8.8 美元,这比雇佣一名专家 30 分钟的成本便宜 2.8 倍。 研究员预测,未来的 LLM(例如 GPT-5)只会变更强。ZgXednc

OpenAI 特别要求论文作者不要公开实验中使用的指令,作者同意并表示只会“根据要求”来提供指令。ZgXednc

责编:Demi
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了