Wie generiert ChatGPT Bilder?

ChatGPT 4 kann nun auch Bilder im Chat generieren. Hier ein kurzer technischer Einblick, wie das im Chat funktioniert.
Fragt man ChatGPT nach einem bestimmten Thema, kommen mehr oder weniger schlaue oder korrekte Informationen dabei heraus. Seit Oktober 2023 kann ChatGPT nun auch Bilder im Chat ausgeben. Das habe ich kürzlich mal ausprobiert und nach einer Handskizze bzw. dem Konzept einer Handskizze gefragt.

ChatGPT begann sofort akribisch zu schreiben, aber was ist das?

handskizze von ChatGPT

Wer sich ein wenig mit Webentwicklung auseinandersetzt, kennt den Tag <img>. Dieser wird verwendet, um Bilder in eine Webseite einzufügen. Neben der Angabe der URL bzw. Position auf dem Server über den SRC-Tag (also z.B. <img src="bild.png"> gibt es die Möglichkeit, Bilder per (data:image/svg+xml;base64, xxx) einzufügen. Die Informationen werden statt der Position des Bildes in das <img src=""> geschrieben.

(data:image/svg+xml;base64, xxx)



datader Hinweis, dass hier Daten folgen
image/svg+xmlein Bild im SVG-Format, das mit der Beschreibungssprache XML erstellt wird
base64die Daten folgen in einem Format, das auch als reiner Text übertragen werden kann - das sind die Buchstaben im Screenshot oben


So entsteht Buchstabe für Buchstabe ein Bild, das anschließend im Browser angezeigt wird. Hier ist ein einfaches Beispiel:


Als Text

mini-bild

Wird als data64 zu

mini-data

Und als Bild schließlich zu diesem - beim Konvertieren ins PNG-Format wurden durch Interpolation und Antialiasing Fehlpunkte hinzugefügt.

einfaches-bild

Das bedeutet, dass ChatGPT durch Kenntnis des SVG/XML-Standards, der Bilderkennung und durch Wissen über einen Kreis und ein Quadrat ein Bild als kodierte Zeichenfolge generieren kann.


Copyright 2016-2024 Jörg Burbach | All rights reserved – Made with ♥ in Cologne | Impressum