研究:用诗歌就能让AI说违禁内容,成功率达62%
IT之家 12 月 1 日消息,研究用诗事实证明,违禁只需一点创意,内容杭州市某某设备厂便足以绕过人工智能聊天机器人的成功安全防护机制。在伊卡洛实验室(Icaro Lab)最新发表的率达一项题为《对抗性诗歌:一种通用的单轮大语言模型越狱机制》的研究中,研究人员通过将提示词以诗歌形式表达,研究用诗成功绕过了多种大语言模型(LLM)的违禁安全限制。
![]()
该研究指出,内容“诗歌形式可作为一种通用型越狱操作符”,成功杭州市某某设备厂实验结果显示,率达整体上有 62% 的研究用诗成功率诱使模型生成被禁止的内容,包括涉及制造核武器、违禁儿童性虐待材料以及自杀或自残等相关信息。内容
IT之家注意到,成功研究测试了多款主流大语言模型,率达包括 OpenAI 的 GPT 系列、Google Gemini、Anthropic 的 Claude 以及其他多个模型。研究人员进一步列出了各模型的具体成功率:Google Gemini、DeepSeek 和 MistralAI 在测试中始终会提供违规回答,而 OpenAI 的 GPT-5 系列模型和 Anthropic 的 Claude Haiku 4.5 则最不容易突破其自身设定的限制。
尽管该研究并未公开研究人员所使用的具体“越狱诗歌”原文,但研究团队向 Wired 杂志表示,这些诗句“过于危险,不宜向公众披露”。不过,论文中确实包含了一个经过弱化处理的示例,用以说明绕过 AI 聊天机器人安全机制的简易程度。研究人员强调:“这可能比人们想象的要容易得多,而这正是我们保持谨慎的原因所在。”
相关文章
四川舰,舷号51 是我国自主研制建造的 首艘076型两栖攻击舰 一年前的今天 海军四川舰下水 四川舰满载排水量4万余吨 设置双舰岛式上层建筑 和全纵通飞行甲板 创新应用电磁弹射和阻2026-01-02
赵昱辉:新能源车迈向全面普及 ,“三个800V”是终结里程焦虑的关键
来源:环球网【环球网财经 记者 陈超】近年来,我国新能源汽车产业迎来了跨越式的发展。根据中国汽车流通协会乘用车市场信息联席分会8月8日发布的数据,7月份,新能源车国内月度销量首次超越燃油车,新能源乘用2026-01-02
Bang & Olufsen 铂傲头戴式耳机 Beoplay H100 发布,11598 元
IT之家 9 月 4 日消息,Bang & Olufsen 铂傲头戴式耳机 Beoplay H100 于昨日正式发布,该款耳机现已上架京东并开售,售价 11598 元。据介绍,铂傲 Beopl2026-01-02
抛售潮突袭。据高盛最新发布的报告,号称“聪明钱”的对冲基金正持续做空银行等金融股。在过去七周中,金融类股有六周遭到抛售。该报告还强调,这波抛售是全球性的,表面上以北美、亚洲和欧洲的发展中市场为首。在北2026-01-02
新华社北京12月30日电 美国代表29日在联合国安理会会议上为以色列承认索马里兰为“独立主权国家”辩护,把以方此举与国际社会广泛承认巴勒斯坦国相提并论,声称安理会“搞双重标准”。 美国常驻联合国2026-01-02
中新经纬9月4日电 百度文心一言APP 4日推出4.0.0版本升级,并更名“文小言”,号称“变得更强大、更简单、更懂你”。来源:文小言APP截图 据文小言介绍,其为百度旗下新搜索智能助手,是文心2026-01-02

最新评论