Ein Computer-Bildschirm zeigt die Website für IO während der Ausstellung der BaMa 22 an der Hochschule Mainz.
Die Website für IO, dargestellt auf einem Laptop.
Website für IO
Das Notebook zur Datensatzerstellung durch Web-Crawling des IO-Frameworks, dargestellt auf einem Laptop.
Notebook zum Erstellen von Bilddatensätzen durch Web-Crawling
Das Notebook zur Bildgenerierung mit VQGAN-CLIP des IO-Frameworks, dargestellt auf einem Laptop.
Notebook zur Bildgenerierung mit VQGAN-CLIP
Eine Übersicht aller eigens entwickelten Widgets des IO-Frameworks
Übersicht aller Widgets
Poster für das IO-Framework mit generiertern Bildern aus dem Training von StyleGAN3-Modellen.

IO – Ein KI-Framework für Gestalter*innen

Datum:

06.07.2022

Kategorie:

Framework

Künstliche Intelligenz beeinflusst unsere Gesellschaft bereits im hohen Maße und dieser Einfluss wird in Zukunft wahrscheinlich weiter steigen. Auch der Beruf der Gestalter*innen wird durch künstliche Intelligenz nachhaltig beeinflusst und fortschreitend geprägt werden. Künstliche Intelligenz sollte dabei nicht ausschließlich als Risiko sondern auch als Chance und somit als weiteres Gestaltungsmittel für Gestalter*innen wahrgenommen werden.

Die Arbeit mit künstlicher Intelligenz ist jedoch sehr komplex und mit vielen Hürden verbunden. Fehlende Kenntnisse in der Programmierung und den damit verwendeten Tools erschweren Gestalter*innen den Zugang, künstliche Intelligenz als Gestaltungsmittel einzusetzen. An diesem Problem setzt meine Bachelorthesis IO ‒ Ein KI-Framework für Gestalter*innen an und bietet ein mehrstufiges Framework, um künstliche Intelligenz für Gestalter*innen zugänglich zu machen.

Konzept

Die Intention ist es, Gestalter*innen mit keiner bis wenig KI-Erfahrung über einen mehrstufigen Prozess an die Thematik KI und Gestaltung heranzuführen. Im ersten Schritt des mehrstufigen Prozesses soll in die Welt von KI-Modellen, speziell GAN-Modellen, und Bilddatensätzen eingeführt werden, sodass Verständnis entwickelt wird und Möglichkeiten aufgezeigt werden. Im zweiten Schritt sollen erste Experimente in der Arbeit mit KI-Modellen und dem Erstellen von Datensätzen gemacht werden. Dafür kommen niederschwellige Interfaces zum Einsatz in Verbindung mit Erklärungsmaterial, sodass keine Fähigkeiten in der Programmierung notwendig sind und trotzdem der Ablauf der Prozesse klar verständlich bleibt. Nach erfolgreichem Experimentieren mit den Modellen und Datensätzen soll im letzten Schritt zum eigenständigen Arbeiten und dem Trainieren von GAN-Modellen angeregt werden.

Technologisch fundiert das Framework auf dem Medium der Computational Notebooks, spezifisch Jupyter Notebooks. Dieses Format vereint Code-Abschnitte mit erklärenden Texten in einem Dokument und ermöglicht die schrittweise Ausführung von Programmen. Dies hat den didaktischen Vorteil, dass Code nicht nur dokumentiert, sondern verständlich begleitet wird. Gleichzeitig werden Gestalter*innen so direkt an ein Standardwerkzeug der KI-Entwicklung herangeführt, was sie befähigt, zukünftig auch mit neuen Modellen und Technologien unabhängig zu arbeiten.

Der Einstieg in das Framework erfolgt über eine zentrale Website, die als Startpunkt dient und den Zugang zu drei konkreten Anwendungsfällen bietet: der Datensatzerstellung via Web-Crawling, der Bildgenerierung mittels VQGAN-CLIP und dem Training von StyleGAN3-Modellen. Um hierbei die Berührungsangst vor komplexen Editoren zu nehmen, starten diese Notebooks zunächst in einer stark vereinfachten, lesefreundlichen Web-Ansicht. Die Ausführung des Codes wird dabei durch vorgefertigte Widgets realisiert. Diese grafischen Komponenten abstrahieren den Code zu einfachen Interfaces, sodass Nutzer*innen experimentieren können, ohne direkt programmieren zu müssen.

Sobald das Grundverständnis gefestigt ist, ermöglicht das Framework den nahtlosen Wechsel in eine angepasste Jupyter Lab-Umgebung. Hier wurde die Benutzeroberfläche gezielt von irrelevanten Elementen bereinigt, um die Bedienung intuitiver zu gestalten. In diesem Modus erhalten die Gestalter*innen vollen Einblick in den zugrundeliegenden Code, können bestehende Notebooks bearbeiten oder komplett eigene Projekte realisieren. Diese Offenheit des Systems gewährleistet, dass das Framework nicht nur als Lernwerkzeug dient, sondern auch als Plattform für freies Experimentieren und das Erschließen neuer gestalterischer Wege mit KI genutzt werden kann.

Umsetzung

Die Realisierung des Frameworks, folgt der Prämisse, technische Komplexität durch klare Gestaltung und moderne Webtechnologien zugänglich zu machen. Visuell übersetzt sich dieser Ansatz in ein reduziertes Designsystem: Eine Akzentfarbe in gedecktem Orange schafft den Bezug zur Jupyter-Identität, während die Schriftfamilien Slussen und Slussen Mono eine harmonische Verbindung zwischen fließtextlichen Erklärungen und technischen Code-Blöcken herstellen. Unterstützt wird die Benutzerführung durch das klare Icon-Set des IBM Carbon Design Systems.

Technologisch basiert das Framework auf einer modularen Open-Source-Architektur. Den Einstiegspunkt bildet die Website, die mithilfe des JavaScript-Frameworks Svelte umgesetzt wurde, um eine performante und komponentenbasierte Entwicklung zu gewährleisten. Für die Herzstücke des Frameworks, die interaktiven Notebooks, kommen spezifische Erweiterungen zum Einsatz: Die einsteigerfreundliche Web-Ansicht wird technisch durch die Extension Voilà realisiert. Diese wandelt die klassischen Jupyter Notebooks in eine reine Web-Applikation um, bei der der Code im Hintergrund ausgeführt wird, das Interface jedoch auf die wesentlichen Interaktionselemente reduziert bleibt.

Für die fortgeschrittene Arbeit wurde die Jupyter Lab-Umgebung durch eigene Erweiterungen und Anpassungen modifiziert. Unnötige Elemente wie Statusleisten wurden entfernt, während neue Funktionen wie eine Drag-and-Drop-Sammlung für Code-Snippets integriert wurden. Die eigens entwickelten Widgets kommen auch hier zum Einsatz, um eine intuitive Bedienung zu gewährleisten. Diese basieren technisch auf Svelte-Templates und kommunizieren über die ipywidgets-Bibliothek mit dem Python-Code im Hintergrund.

Mehr erfahren

Weitere Informationen zu dem Framework IO finden Sie auf der Webseite zur Arbeit. Einen genaueren Einblick in die Recherche, Konzeption und Umsetzung der Arbeit finden Sie in der schriftlichen Ausarbeitung der Thesis.

Die Entwicklung des Frameworks führte ich im Rahmen meiner Anstellung als wissenschaftlicher Mitarbeiter beim Forschungsprojekt KITeGG weiter. Die Ergebnisse dieser Weiterentwicklung sind in der Veröffentlichung Creating easy to use interfaces to work with artificial intelligence dokumentiert.