Das für die AI-Textprüfung bekannte Pangram hat nun offiziell seine multimodalen Erkennungsfähigkeiten vorgestellt. Das Bildprüfungswerkzeug Pangram Image 1.0 war zuvor nur als Forschungs-Vorabversion verfügbar und ist jetzt vollständig auf der Webplattform, über die Unternehmens-API und als gleichnamige Chrome-Erweiterung verfügbar.
Laut Pangram erreicht der Bildprüfer in seinem Testdatensatz eine Genauigkeit von 99,96% bei der Erkennung von AI-generierten Bildern. Das Unternehmen gibt zudem an, dass die Genauigkeit des Modells in den letzten Monaten gestiegen ist, insbesondere bei der Verarbeitung von bearbeiteten Bildern, Bildern mit niedriger Auflösung und Bildern, die von den derzeit leistungsstärksten AI-Modellen generiert wurden. Im Vergleich zu ähnlichen Werkzeugen liegt die Genauigkeit von TruthScan bei 96,33%, AI or Not bei 91,38% und Sightengine bei 88,33%, was einen deutlichen Unterschied zeigt.
Es ist jedoch anzumerken, dass diese Zahlen aus selbst erstellten Testdatensätzen der jeweiligen Unternehmen stammen und daher nicht einheitlich sind; ein horizontaler Vergleich kann nur als Referenz dienen.
Die Vorteile von Pangram Image 1.0 bei der Videoerkennung
Für Videos wird ein anderes Verfahren verwendet. Pangram hat dafür ein leichteres Modell, Pangram Image 1.0 Flash, entwickelt, das durch Frame-für-Frame-Erkennung Videos verarbeitet. Das Unternehmen gibt an, dass die Genauigkeit bei der Erkennung von AI-generierten Videos auf dem DF26-Benchmark bei 98,7% liegt, was 29 Prozentpunkte über dem Zweitplatzierten liegt; im selben Benchmark liegt TruthScan bei 84,2% und Sightengine bei 81,8%. Um die Effektivität zu überprüfen, wählte Pangram 129 echte Videos von sozialen Plattformen aus und generierte mit 14 der neuesten AI-Video-Modelle entsprechende Versionen, um einen Testdatensatz zu erstellen.
Pangram erklärte außerdem, dass sein Modell im Vergleich zu von akademischen Forschern entwickelten Prüfsystemen in den Benchmark-Tests stets führend war.
Der technische Schlüssel liegt in der „Robustheit“. Dieses Modell wurde speziell trainiert, um gängige störende Artefakte wie Kompression, Unschärfe und künstliches Rauschen zu durchschauen – genau die Faktoren, die in der Vergangenheit Prüfsysteme versagten. Zudem kann es mit einer Heatmap die spezifischen Bereiche eines Bildes anzeigen, die von AI generiert wurden, anstatt nur eine Ja-oder-Nein-Antwort zu geben. Die Prüfungsgrenze wurde ebenfalls gesenkt: Die Mindestgröße für Bilder wurde von ursprünglich 512×512 Pixel auf 256×256 Pixel reduziert, wobei jedoch Ergebnisse unter 512 Pixel mit einem Hinweis auf eine verringerte Zuverlässigkeit versehen werden.
In der Anwendung hat Pangram die Bildprüfungsfunktion in die Chrome-Erweiterung integriert, die den Browser beim Scrollen durch soziale Medien, Einkaufsplattformen und Wohnungsanzeigen AI-Inhalte markieren lässt; auf der Website können auch Videos direkt hochgeladen werden, die das Modell auf AI-Generierung prüft. Es ist erwähnenswert, dass Zahlen wie 99,96% aus den eigenen Testdatensätzen des Unternehmens stammen und die tatsächliche Leistung in realen Szenarien davon abhängt, wie oft Bilder gespeichert, komprimiert und zugeschnitten wurden. Der Wettlauf zwischen Prüftools und Generierungsmodellen zeigt derzeit noch kein Ende.