SPM简介
SPM擦除工具是一种基于人工智能的概念半透膜模型,由清华大学与阿里安全联合推出。该模型能够在Diffusion架构的AI作图模型中精准、可控地擦除各类具象或抽象概念。SPM的特色功能包括概念消除和艺术风格消除,能够保留特定的艺术风格而擦除其他内容。此外,SPM能够独立学习到擦除不同的潜在风险的能力,构成一个概念擦除库,其中任何概念的组合都可以根据需求场景定制
。SPM的结构设计允许多个SPM叠加插入到同一个DM中,基于信号加法的擦除使得多个危险概念可以灵活定制,以满足错综复杂且不断变化的擦除需求。
SPM优点
·无需数据:训练SPM不需要额外的文本或图像数据。
·轻量级:SPM的可训练参数仅为DM的0.5%。一个针对SD v1.4的SPM只需要1.7MB的存储空间。
·可定制:一旦获得,可以根据您的需要同时装备不同目标概念的SPM到DM上。
·模型可转移:在某一DM上训练的SPM可以直接转移到其他个性化模型上,无需额外调整。例如,从SD v1.4转移到SD v1.5 / Dreamshaper-8或任何其他类似的社区模型。
SPM原理
SPM在一个通用扩散模型中采用了一个称为半透膜(SPM)的一维适配器。在微调过程中设计了潜在锚定,以自监督的方式有效缓解变化和侵蚀现象。在生成阶段,引入了促进传输机制,确保只有威胁性提示增加相应SPM的渗透率,而安全提示的生成(例如,毕加索风格)不受影响。
项目用途
1.“擦除史努比后的{概念}涂鸦”样本。
SPM在目标概念史努比上展示了充分的消除效果,而对非目标的影响可以忽略不计。
2.无需训练的转移结果。
一旦获得(例如,在这种情况下从SD v1.4获取),SPM可以转移到其他专业模型上而无需重新调整,并且很好地展现了其目标概念擦除和非目标保留能力。
3.艺术风格去除
来自DM的样本,其中移除了艺术风格。与之前的作品不同,展示了擦除与保留之间明显的权衡,SPM可以擦除目标风格(上部为梵高风格,下部为毕加索风格)同时保留其他风格。
4.露骨内容删除
NudeNet在I2P基准上的评估结果。左边的数字统计了原始SD v1.4生成的暴露身体部位的数量。箱线图展示了采用不同方法进行裸露内容减轻时的降低,包括数据过滤(SD v2.0)和不同的擦除策略。与之前的作品相比,SPM有效地消除了不同裸露类别中的明显内容。
项目链接:https://github.com/Con6924/SPM
论文链接:https://lyumengyao.github.io/projects/spm#