一种新工具可以让艺术家在他们的作品中添加不可见的像素变化，如果作品上传到网上，并被抓取到人工智能模型的训练集中，它可能会导致最终模型以混乱和不可预测的方式崩溃。

这款名为 Nightshade 的工具旨在反击人工智能公司，这些公司在未经创作者许可的情况下使用他们的作品来训练模型。

使用它来“毒害”这些训练数据，可能会破坏图像生成人工智能模型未来的迭代，包括 DALL-E、Midjourney 和 Stable Diffusion 等知名工具，其破坏方式是将模型的输出变得无用，例如将狗变成猫，汽车变成牛等等。《麻省理工科技评论》获得了该研究的独家预览，该研究已提交给计算机安全会议 Usenix 进行同行评审。

OpenAI、Meta、谷歌、Stability AI 等人工智能公司正面临着艺术家的大量诉讼，他们声称自己的版权作品和个人信息在未经同意或补偿的情况下被抓取。

美国芝加哥大学教授 Ben Zhao 领导了 Nightshade 的开发团队，他表示，希望借此来威慑不尊重艺术家版权和知识产权的行为，从而让权力平衡从人工智能公司转向艺术家。Meta、谷歌、Stability AI 和 OpenAI 没有回应《麻省理工科技评论》的置评请求。

Zhao 的团队还开发了一款名为 Glaze 的工具，该工具允许艺术家“掩盖”自己的个人风格，以防止被人工智能公司抓取。

它的工作方式与 Nightshade 类似：通过以人眼看不见的微妙方式改变图片的像素，再操纵机器学习模型将图像里的东西解释为错误的东西。

该团队打算将 Nightshade 整合到 Glaze 中，让艺术家可以选择是否使用“数据中毒”工具。该团队还将开源 Nightshade，这将允许其他人完善它并制作他们自己的版本。

Zhao 说，使用它并制作定制版本的人越多，这个工具就会变得越强大。大型人工智能模型的数据集可能包含数十亿张图像，因此被收入模型的有毒图像越多，该技术造成的损害就越大。

01针对性攻击

Nightshade 利用了生成式人工智能模型中的一个安全漏洞，这个漏洞源于它们是在大量数据上进行训练的（在这种情况下，是从互联网上抓取的图像），而 Nightshade 可以搅乱这些图像。