Das Thema «Artificial Intelligence», «AI», «Künstliche Intelligenz» bzw. «KI» «explodiert» im Moment. Rafael Brunner hat schon im Dezember in einem Blogpost über sein Experiment mit KI und dem Advent of Code berichtet. Der Schweizer Künstler Patrick Karpiczenko, a.k.a. Karpi, ist in den sozialen und traditionellen Medien aktiv mit seinen KI-Kreationen – jüngst zum Beispiel mit einem KI… Kinderbuch mit KI-generierten Illustrationen, das erfolgreich ein Crowdfunding durchlaufen hat. Kurz gesagt: KI ist in aller Munde. Nach Monaten von teilweise etwas «atemloser» Rezeption der neuen technischen Möglichkeiten in den beruflichen Netzwerken scheint mir der Zeitpunkt richtig, einige zentrale Begriffe und Konzepte rund um KI in einer losen Sammlung zu bündeln.
Vorweg: Der Pfeil (→) bezeichnet einen Verweis auf einen Eintrag im KI-ABC. Und die Illustrationen in diesem Blogpost stammen alle von der → Generative AI → DALL-E von → OpenAI.
Vielleicht findest Du diesen kleinen Primer für KI-Diskussionen ja nützlich, um auf einige der diversen Links abzuspringen und Dich noch tiefer mit dem Thema auseinanderzusetzen. Einige KI-bezogene Metaphern und Wortschöpfungen dürften wieder verschwinden, andere werden uns wohl zumindest einige Jahre begleiten. Zumindest hat KI das Potenzial, die Welt in den nächsten Jahren grundlegend zu verändern – ganz nach Amara’s Law: «We tend to overestimate the effect of a technology in the short run and underestimate the effect in the long run.»
In alphabetischer Reihenfolge:
AGI, Artificial General Intelligence
Eine AGI ist eine (heute noch hypothetische) KI, die jegliche intellektuelle Leistung von Menschen erbringen (oder gemäss mancher Definitionen sogar: übertreffen) kann. Wie weit fortgeschritten die KI-Forschung auf dem Feld der Artificial General Intelligence bzw. AGI ist, ist Gegenstand von Diskussionen. Manche Personen postulieren, dass mit → ChatGPT und ähnlichen Modellen bereits eine Frühstufe von AGI erreicht ist, andere vermuten, es dauere noch Jahre bis Jahrzehnte, bis eine AGI entwickelt werden kann.
AI, Artificial Intelligence
siehe → KI
AI Winter
Theoretische Grundlagen für → Künstliche Intelligenz wurden schon in den 1950er Jahren gelegt. Über die Jahrzehnte erfuhr das Thema immer wieder Hype-Phasen, in denen man sich angesichts der technologischen Entwicklungen grosse Hoffnungen machte. Diesen Hype-Phasen folgten immer wieder Phasen der Desillusionierung und abnehmender Finanzierung von KI-Forschungs- und Entwicklungsaktivitäten. Letztere wurden verschiedentlich als AI Winter (bzw. eigentlich: AI Winters) betitelt. Das Phänomen hat meines Erachtens eine gewisse Ähnlichkeit zum sogenannten Trough of Disillusionment (Mulde der Desillusionierung) im idealtypischen Hype-Zyklus neuer Technologien gemäss dem oft gesehenen Gartner Hype Cycle.
AI Alignment
siehe → Alignment Problem
Algorithmic Accountability
In der unbeholfenen Übersetzung: «algorithmische Rechenschaftspflicht» oder «algorithmische Verantwortlichkeit». Mit KI und insbesondere dem Teilbereich des Maschinellen Lernens bzw. Machine Learning können (Entscheidungs-)Prozesse mit maschinell getroffenen Empfehlungen unterfüttert, teilautomatisiert oder gänzlich automatisiert werden.
Algorithmic Accountability ist die Idee, dass im Fall von solchen (teil)automatisch getroffenen Entscheiden eine Rechenschaftspflicht gegeben sein sollte. Das heisst, dass jemand / eine juristische Person gegenüber Stakeholdern die Verantwortung für algorithmisch getroffene Entscheidungen tragen soll. Algorithmic Accountability ist daher verknüpft mit der Diskussion von → Bias in → Trainingsdaten und Machine Learning-Algorithmen sowie mit der (zum Teil stark) eingeschränkten Explainability bzw. Algorithmic Transparency von Machine Learning-Modellen. Darüber hinaus steht das Konzept in Verbindung zu weiter gefassten Fragen der Regulierung des Einsatzes von KI (etwa im sogenannten EU AI Act) – zum Beispiel mit dem Postulat, dass algorithmenbasierte Systeme sich gegenüber Stakeholdern stets zu erkennen geben sollten.
Alignment Problem
Das Alignment Problem beschreibt die Frage (der sich ein Teilfeld der KI-Forschung widmet), wie man sicherstellen kann, dass das Wirken einer KI sich an vom Menschen gesetzten Zielen, Präferenzen und ethischen Überlegungen ausrichtet. Eine KI gilt als aligned, wenn sie sich an diesen Werten ausrichtet.
Einer KI alle erwünschten und nicht-erwünschten Verhaltensweisen zu vermitteln, ist nicht trivial. Übergeordnete Ziele werden daher manchmal mit einfacher zu formalisierenden Proxy-Zielen operationalisiert. Wenn eine nicht-aligned-e KI zwar gesetzte Proxy-Ziele erreicht, dabei aber übergeordnete, nicht-spezifizierte Ziele vernachlässigt, spricht man von Reward Hacking oder Specification Gaming. Damit verbunden postulieren manche Forscherinnen und Forscher potenzielle Gefahren wie Power-Seeking oder Existential Risk. 2020 erschien ein Sachbuch, The Alignment Problem, das den Themenkomplex beschreibt. Die sogenannten Three Laws of (Responsible) Robotics sind ein weiterer Einstiegspunkt.
Bias
Bias bezeichnet Fehler von Algorithmen (beispielsweise in der algorithmisch fundierten Entscheidungsunterstützung oder -automatisierung), die zu unfairen und im Design des Algorithmus unbeabsichtigten Resultaten führen. Bias kann vom Design oder vom Training des Algorithmus oder von einer ungeeigneten Auswahl oder Aufbereitung von → Trainingsdaten herrühren.
Ein einfaches – und im Vergleich zu Beispielen etwa im Justizwesen harmloses! – Beispiel für Bias in → Trainingsdaten kann man sich bei der Entwicklung eines Algorithmus, der Fotos von Tigern von Fotos mit Löwen unterscheiden soll, vorstellen: Wenn in den Trainingsdaten Tiger auf den Tiger-Fotos stets in einer von Frost oder Schnee überzogenen Landschaft sind, die Löwen aber immer in Grasland oder Savanne abgebildet sind, stehen die Chancen gut, dass der Algorithmus nicht lernt, gestreifte von ungestreiften Grosskatzen zu unterscheiden, sondern sich stattdessen auf die deutlich unterschiedlichen Bildhintergründe «einschiesst». Mit den (schlecht ausgewählten) Trainings- und sogar den Validierungsdaten mag das ganz ordentlich funktionieren – bis der Algorithmus auf die Realität – mit Tigern ausserhalb verschneiter Landschaften – trifft.
Bot
Mitte der 10er Jahre war das Paradigma der sogenannten Conversational User Interfaces (bzw. Conversational UIs) – statt dem gebräuchlichen Graphical User Interface bzw. GUI – en vogue. Conversational UIs sind Benutzendenschnittstellen, die auf (mündliche oder schriftliche) umgangssprachliche Anweisungen reagieren. Man denke zum Beispiel an «Hey Siri, …», an «Alexa – …?» oder an die virtuelle Gesprächspartnerin, die auf der Website der Hausbank eine Kundenberaterin mimt.
Heute haben sich die Begriffe «Bot» oder «Chatbot» für solche Systeme durchgesetzt («Bot» ist Wiederum eine Kurzform von «Robot» – übrigens ja mit einer spannenden Etymologie). Stephan Heuel hat 2016 Bots in diesem Blog unter dem Titel «Bots are the Future of Geo» thematisiert, ich selbst habe dazu ein Jahr später am GeoBeer einen Vortrag unter dem – mit einem Augenzwinkern versehenen – Titel «The Rise of Bots» gehalten.
ChatGPT
siehe → Generative AI
Conversational UI (CUI)
siehe → Bot
Copyright
Die Frage des Copyrights ist im Bereich KI heiss debattiert: Es gibt einen Zielkonflikt von Rechteinhabern von Content und KI-Firmen, welche Content als → Trainingsdaten nutzen, um ihre Modelle zu trainieren. Einige Beispiele, die die wogende und zum Teil aufgeregte Debatte illustrieren:
- Ein prominenter Fall, der juristisch ausgetragen werden dürfte, ist jener der Medienagentur Getty Images versus die KI-Firma Stability AI. In durch die KI → Stable Diffusion erzeugten Bildern sind Artefakte erkennbar, die den digitalen Wassermarken, die Getty Images auf seinen Copyright-geschützten Bildern anbringt, sehr ähnlich sehen.
- KI-kritische Kunstschaffende haben mittels KI Bilder von Mickey Mouse und anderen Cartoon-Figuren synthetisiert und verkaufen diese. Das Kalkül dürfte sein, dass mächtige Copyright-Inhaber wie Disney Stellung beziehen bezüglich der Verwertung von Bildmaterial durch KIs.
- Diese Woche ist bekannt geworden, dass die japanische Regierung beschlossen hat, auf → Trainingsdaten von KIs kein Copyright durchzusetzen.
- Vor kurzem ist eine mit der Copyright-Diskussion ein Stück weit verwandte Thematik in der Schweiz angekommen: nämlich im Bereich des → Leistungsschutzrechts.
DALL-E
siehe → Generative AI
Generative AI
Die Abkürzung GAI für Generative AI ist meines Wissens wenig gebraucht – besser so, denn es besteht Verwechslungsgefahr mit → AGI (für Artificial General Intelligence). Generative AI bezeichnet den Teilbereich der KI, der sich mit der Erzeugung von Texten, Bildern, Tönen bzw. Musik und weiteren Medien befasst. Einige besonders prominente Beispiele von Generative AI du jour sind GPT bzw. ChatGPT, DALL-E, Midjourney und Stable Diffusion. Es gibt viele mehr.
Jailbreaking
siehe → Prompt Hacking
KI, Künstliche Intelligenz
Sehr (!) konzis definiert bezeichnet Intelligenz die Fähigkeiten, Informationen wahrzunehmen, zu integrieren und neue Informationen abzuleiten. Künstliche Intelligenz ist natürlich die Abgrenzung zu natürlicher Intelligenz: Bei ersterer verfügen Maschinen und Algorithmen über Intelligenz, bei letzterer Menschen.
LLaMA, Large Language Model Meta AI
siehe → LLM
Leistungsschutzrecht
Auf den ersten Blick ein eher themenfremder Eintrag. Aber: Über die Nationalrätin Judith Bellaiche bin ich darauf aufmerksam geworden, dass der Bundesrat gemäss seiner Vernehmlassungsunterlagen im geplanten Leistungsschutzrecht zugunsten von Schweizer Journalistinnen und Journalisten sowie Medienunternehmen einen Konnex zu KI zu machen gedenkt. Meines Wissens ist das das erste Mal, dass das Thema KI auf dieser Ebene auftaucht. Aus der Einladung zur Vernehmlassung (Einfügung durch mich): «KI hat das Potential, die Internetnutzungen völlig zu verändern. Bereits heute können [im Web zum Beispiel unterhalb einer Suchanfrage] KI-generierte Antworten anstelle von Snippets angezeigt werden, so dass die Vorlage möglicherweise um eine Vergütung für die Nutzung journalistischer Inhalte durch KI-Anwendungen zu ergänzen sein wird.»
LLM, Large Language Model
LLM bezeichnet ein Klasse von Sprachmodellen, die aus einem neuronalen Netz mit sehr vielen (häufig in der Grössenordnung von Milliarden) Parametern bestehen (deshalb: large). Anders als andere Sprachmodelle, die häufig für spezifische Zwecke entwickelt worden sind, gelten LLM dank der vielen Parameter als sehr flexibel für ganz unterschiedliche Aufgaben einsetzbar. Sie können dabei gut menschliche Sprache (Syntax, Semantik, Stilarten) annähern. Das «GPT» in → ChatGPT steht für Generative Pretrained Transformer und ist ein LLM-Typ. In letzter Zeit wurde auch öfters über LLaMA (steht für: Large Language Model Meta AI) diskutiert. Das ist ein weiteres LLM, das von Meta ein Stück weit geöffnet wurde und das übrigens trotz geringerer Parameterzahl im Vergleich mit GPT-3 offenbar erstaunlich gute Leistungen zeigen soll.
Midjourney
siehe → Generative AI
OpenAI
2015 gegründete amerikanische KI-Forschungseinrichtung bzw. -firma. Ursprünglich ist OpenAI mit einem Non-Profit-Modell gestartet, hat mittlerweile für zentrale Aktivitäten aber auf ein For-Profit-Modell umgestellt und ist eine Partnerschaft mit Microsoft eingegangen. OpenAI hat unter anderem die → LLMs GPT3 und GPT4 sowie → ChatGPT und → DALL-E entwickelt. Eintrag in Crunchbase, Eintrag in Open Corporates.
Prompt Engineer
Manchenorts postulierte künftige Berufsform, die → Prompt Engineering als zentrale Tätigkeit zum Inhalt hat.
Prompt Engineering
Prompt Engineering bezeichnet das Instruieren einer KI mit einer natürlich-sprachlichen Anweisung oder Frage. Eine des Prompting mächtige KI interpretiert die Aufforderung (= Prompt) als Grundlage für den durch sie auszuführenden Task.
Prompt Hacking
Prompt Hacking beschreibt das sorgfältige Gestalten eines Prompts, der darauf abzielt, ein → LLM zur Ausführung eines eigentlich unbeabsichtigten Tasks zu veranlassen. Es gibt verschiedene Typen von Prompt Hacking: Prompt Injection, Prompt Leaking und Jailbreaking.
In den von mir frequentierten sozialen Netzwerken ist Jailbreaking klar ein wiederkehrendes Thema, eigentlich sogar schon ein Running Gag. Dabei wird eine KI mittels gezieltem Prompting dazu gebracht, eigentlich vorgesehene Sicherheits- und Moderationsrichtlinien zu missachten. Das ist manchmal erstaunlich einfach, hier ein Beispiel von einer Website, die Jailbreaks für → ChatGPT sammelt:
Die Idee hinter dem obigen Prompt ist, dass → ChatGPT eigentlich eine Moderationsrichtlinie umsetzt, die verhindert, dass die KI der Nutzerin direkt erklärt, wie man ein Auto hotwire-t (also ohne Schlüssel startet) oder andere fragwürdige Dinge tut. Durch die Formulierung des Prompts kann die KI aber überlistet werden, diesen Trick – und potenziell andere – doch preiszugeben.
Prompt Injection
siehe → Prompt Hacking
Prompt Leaking
siehe → Prompt Hacking
Stable Diffusion
siehe → Generative AI
Super Prompt
Mit «Super Prompt» werden komplizierte Prompts oder Anweisungen an KIs bezeichnet, die geeignet sind, nicht offensichtliche Funktionen der Modelle zu erschliessen. Der Begriff scheint mir auch (oder vorallem?) ein Marketing-Wort zu sein. Es gibt natürlich bereits Webseiten, die zahlender Kundschaft Super Prompts verkaufen. Der Länge der Super Prompts sind bei den meisten KIs dadurch Grenzen gesetzt, dass diese nicht beliebig lange Prompts verarbeiten können.
Ein spannendes Beispiel für einen Super Prompt (Erklärung folgt nach der Abbildung):
Dieser Prompt instruiert → ChatGPT, für den folgenden Prompt der Nutzerin a) aus KI-Sicht geeignetere Versionen zu formulieren, b) sonstige Verbesserungsvorschläge zu machen, und c) bei Bedarf ergänzende Fragen zu stellen. Diese Schritte werden immer wieder iterativ durchlaufen, bis die KI eine Fassung des Prompts als sehr gut beurteilt. Sobald dies der Fall ist, soll sie der Nutzerin direkt anbieten, diesen Prompt auszuführen.
Trainingsdaten
Trainingsdaten bezeichnen denjenigen Corpus von Daten, mit denen ein Machine Learning-Algorithmus oder eine KI trainiert worden ist. Ganz einfach gesagt lernt der Algorithmus aus den Trainingsdaten – hoffentlich gut verallgemeinerbare – Muster, die er später auf neue aber ähnliche Aufgaben- oder Fragestellungen anwenden kann.
Die Washington Post hat sich im April den Corpus C4 («Colossal Clean Crawled Corpus») von Google näher angeschaut, der aus «abgegrasten» («ge-crawld-en») Webseiten-Inhalten besteht (→ Copyright). Der resultierende Artikel findet sich hier. Mit einem im letzten Drittel des Artikels eingebetteten Tool kann man prüfen, ob eine Website Teil von C4 ist und damit (sehr wahrscheinlich) für das Training von Chatbots von Google eingesetzt worden ist. Die Website ebp.ch (wie auch meine private Website) scheinen den «Cut» «geschafft» zu haben:
Nicht alle Website-Betreiber und Ersteller sind über den Sachverhalt glücklich, dass ihre Website Eingang in einen Corpus gefunden hat und wohl als Trainingsdatum fungiert.
Wie man sieht, haben die KI-Entwicklungen der letzten Monate schon viel neues Vokabular entstehen lassen oder zumindest bekannter gemacht. Ich hoffe, diese definitiv nicht vollständige Aufzählung und Erklärungen inspirieren Dich, Dich weiter mit der spannenden Thematik auseinanderzusetzen.
Einige Buchstaben des Alphabets in meinem KI-ABC sind noch nicht befüllt. Habe ich aus Deiner Sicht etwas Wichtiges weggelassen? Vielleicht fallen Dir weitere interessante Einträge ein? – Bei Gelegenheit mache ich gerne Ergänzungen.
Danke für diese Zusammenfassung. Sehr hilfreich!
Danke für die Rückmeldung, Johannes! Freut mich, dass Du den Inhalt wertvoll findest.