AI图片工具 AI图像修复增强(高清修复、无损放大、局部重绘、智能扩图、图片上色) AI图片工具 AI抠图(清除背景、去除水印、智能分层)
SPM

SPM擦除工具是一种基于人工智能的概念半透膜模型,由清华大学与阿里安全联合推出。该模型能够在Diffusion架构的AI作图模型中精准、可控地擦除各类具象或抽象概念。

广告也精彩
广告也精彩

SPM简介

SPM擦除工具是一种基于人工智能的概念半透膜模型,由清华大学与阿里安全联合推出。该模型能够在Diffusion架构的AI作图模型中精准、可控地擦除各类具象或抽象概念。SPM的特色功能包括概念消除和艺术风格消除,能够保留特定的艺术风格而擦除其他内容。此外,SPM能够独立学习到擦除不同的潜在风险的能力,构成一个概念擦除库,其中任何概念的组合都可以根据需求场景定制
。SPM的结构设计允许多个SPM叠加插入到同一个DM中,基于信号加法的擦除使得多个危险概念可以灵活定制,以满足错综复杂且不断变化的擦除需求。

SPM优点

·无需数据:训练SPM不需要额外的文本或图像数据。
·轻量级:SPM的可训练参数仅为DM的0.5%。一个针对SD v1.4的SPM只需要1.7MB的存储空间。
·可定制:一旦获得,可以根据您的需要同时装备不同目标概念的SPM到DM上。
·模型可转移:在某一DM上训练的SPM可以直接转移到其他个性化模型上,无需额外调整。例如,从SD v1.4转移到SD v1.5 / Dreamshaper-8或任何其他类似的社区模型。

SPM原理

SPM在一个通用扩散模型中采用了一个称为半透膜(SPM)的一维适配器。在微调过程中设计了潜在锚定,以自监督的方式有效缓解变化和侵蚀现象。在生成阶段,引入了促进传输机制,确保只有威胁性提示增加相应SPM的渗透率,而安全提示的生成(例如,毕加索风格)不受影响。

项目用途

1.“擦除史努比后的{概念}涂鸦”样本。

SPM在目标概念史努比上展示了充分的消除效果,而对非目标的影响可以忽略不计。

2.无需训练的转移结果。

一旦获得(例如,在这种情况下从SD v1.4获取),SPM可以转移到其他专业模型上而无需重新调整,并且很好地展现了其目标概念擦除和非目标保留能力。

3.艺术风格去除

来自DM的样本,其中移除了艺术风格。与之前的作品不同,展示了擦除与保留之间明显的权衡,SPM可以擦除目标风格(上部为梵高风格,下部为毕加索风格)同时保留其他风格。

4.露骨内容删除

NudeNet在I2P基准上的评估结果。左边的数字统计了原始SD v1.4生成的暴露身体部位的数量。箱线图展示了采用不同方法进行裸露内容减轻时的降低,包括数据过滤(SD v2.0)和不同的擦除策略。与之前的作品相比,SPM有效地消除了不同裸露类别中的明显内容。

项目链接:https://github.com/Con6924/SPM

论文链接:https://lyumengyao.github.io/projects/spm#

来源:www.aiug.cn

相关导航