近期，研究人员提出了一种新型图像分割方法，称为Generalizable SAM（GenSAM）模型。该模型的设计目标是通过通用任务描述，实现对图像的有针对性分割，摆脱了对样本特定提示的依赖。在具体任务中，给定一个任务描述，例如“伪装样本分割”，模型需要根据任务描述准确地分割图像中伪装的动物，而不依赖于手动提供每个图像的具体提示。
为了解决这一问题，GenSAM模型引入了Cross-modal Chains of Thought Prompting（CCTP）思维链和Progressive Mask Generation(PMG)框架。CCTP思维链通过将任务通用的文本提示映射到任务下的所有图片上，生成个性化的感兴趣物体和其背景的共识热力图，从而获得可靠的视觉提示来引导分割。为了在测试时实现自适应，PMG框架通过迭代地将生成的热力图重新加权到原图上，引导模型对可能的目标区域进行从粗到细的聚焦。
GenSAM的实验结果表明，在伪装样本分割任务上，该模型相比基线方法和弱监督方法表现更好，具备良好的泛化性能。该模型的提出为像SAM这样的提示分割方法在实际应用中迈出了重要的一步。
这一研究的创新之处在于，通过提供通用任务描述，GenSAM模型可以批量地处理所有相关任务的无标注图片，而无需为每个图片手动提供具体的提示。这使得模型在处理大量数据时更加高效和可扩展。
在未来，GenSAM模型的方法可能为其他领域的图像分割任务提供新的思路和解决方案。研究人员希望这种通用任务描述引导的图像分割方法能够推动计算机视觉领域的发展，提高模型在复杂场景下的分割准确性。
论文链接:https://arxiv.org/pdf/2312.07374.pdf
项目链接:https://lwpyh.github.io/GenSAM/