Segment Anything – Aber wirklich alles?

Foundation Models erleben derzeit im Bereich NLP ihren Höhepunkt, und auch Computer Vision entwickelt sich kontinuierlich weiter. Ein Teilgebiet blieb dabei jedoch bislang zurück: die Bildsegmentierung. Obwohl sie zu den grundlegenden Aufgaben der Computer Vision gehört, sind heutige Segmentierungsmodelle meist auf bestimmte Datensätze und Anwendungsfälle spezialisiert. Ein universell einsetzbares Modell fehlte bisher.

Die Entwickler des Segment Anything Model (SAM) wollten dieses Problem lösen und stellten sich zunächst drei grundlegende Fragen:

• Welche Aufgabe ermöglicht eine echte Zero-Shot-Generalisierung?
• Welche Modellarchitektur eignet sich dafür am besten?
• Welche Daten werden benötigt, um ein solches Modell zu trainieren?

Das Ergebnis war ein neues Konzept namens Promptable Segmentation. Dabei kann der Nutzer unterschiedliche Eingaben machen – etwa einen Punkt, eine Bounding Box, eine vorhandene Maske oder sogar einen Text. Auf Basis dieses Prompts segmentiert das Modell den passenden Bildbereich.

Da ein Prompt nicht immer eindeutig ist (beispielsweise kann ein Punkt auf einem T-Shirt sowohl das Kleidungsstück als auch die Person meinen, die es trägt), erzeugt SAM drei mögliche Segmentierungsmasken, aus denen die passendste ausgewählt werden kann.

Die Architektur von SAM besteht aus drei zentralen Komponenten:

• Image Encoder – verarbeitet das Eingabebild. Dieser Teil benötigt die meiste Rechenleistung, muss jedoch pro Bild nur einmal ausgeführt werden.
• Prompt Encoder – verarbeitet verschiedene Eingabeformen wie Punkte, Bounding Boxes, Masken oder Texte.
• Mask Decoder – kombiniert Bild- und Promptinformationen und erzeugt daraus drei mögliche Segmentierungsmasken. Dieser Schritt ist besonders schnell.

Im Rahmen des Projekts entstand außerdem der Datensatz SA-1B, einer der größten Segmentierungsdatensätze überhaupt. Er umfasst 11 Millionen Bilder und 1,1 Milliarden Segmentierungsmasken. Die Erstellung erfolgte in drei Schritten:

1. Modellgestützte manuelle Annotation.
2. Halbautomatische Annotation mit Unterstützung des Modells.
3. Vollautomatische Annotation ohne menschliches Eingreifen.

Beeindruckend ist, dass 99 % aller Masken vollständig automatisch im dritten Schritt erzeugt wurden.

SAM wurde anschließend in zahlreichen Computer-Vision-Aufgaben getestet, darunter punktbasierte Segmentierung, Kantenerkennung, Objektvorschläge, Instanzsegmentierung sowie die Erzeugung von Masken aus Texteingaben. Für einige Anwendungen waren kleinere Nachbearbeitungsschritte oder zusätzliches Fine-Tuning erforderlich. Insgesamt erzielte SAM jedoch durchweg überzeugende Ergebnisse, auch wenn es nicht in jeder Benchmark den ersten Platz erreichte.

Insgesamt stellt SAM einen wichtigen Schritt hin zu einer universellen Bildsegmentierung dar. Das Modell ist schnell, flexibel und einfach einzusetzen, ersetzt jedoch nicht jede spezialisierte Lösung. Je nach Anwendungsfall können Nachbearbeitung oder speziell angepasste Modelle weiterhin die bessere Wahl sein.

Quelle: https://arxiv.org/abs/2304.02643