Stille Revolutionen · Band 2 · Dr. Holger Reibold
Der Transformer
Wie acht Forscher die KI neu erfanden.
Worum es geht
2017 luden acht Forscher von Google ein Paper hoch, dessen Titel auf einem Insider-Scherz beruhte: "Attention Is All You Need". Niemand ahnte, dass dieses Paper die Grundlage für ChatGPT, Gemini, Claude und praktisch jedes große KI-Modell der folgenden Jahre werden würde.
Die Idee dahinter war radikal einfach – und radikal anders als alles, was zuvor funktioniert hatte. Statt Sprache Wort für Wort sequenziell zu verarbeiten, betrachtet die Transformer-Architektur einen ganzen Satz auf einmal und lernt, welche Wörter zueinander in Beziehung stehen.
Dieses Buch erzählt, wie acht Forscher mit acht Zeilen Code eine Idee in die Welt setzten, die heute über Sprachmodelle, Bildgenerierung und einen Großteil der modernen KI-Landschaft entscheidet – und wie aus einem internen Google-Projekt die Grundlage einer ganzen Industrie wurde.
Was dieses Buch vermittelt
01
Wie "Attention Is All You Need" entstand – und warum der Titel ein Insider-Scherz war
02
Das Attention-Prinzip einfach erklärt – ohne Formeln, mit Bildern und Beispielen
03
Warum sequenzielle Modelle (RNNs, LSTMs) an ihre Grenzen kamen
04
Die acht Forscher und ihre unterschiedlichen Wege nach dem Paper
05
Vom Forschungspapier zu GPT, BERT, Gemini und Claude
06
Was die Transformer-Architektur für die Zukunft der KI bedeutet
Besondere Features
Behandelte Themen
Attention-Mechanismus · Neuronale Netze · Google Brain · Natural Language Processing · GPT · BERT · Sprachmodelle · Deep Learning · KI-Geschichte · Technikgeschichte
Für wen
Für alle, die verstehen wollen, woher die KI-Revolution eigentlich kommt – ohne technisches Vorwissen vorauszusetzen. Der Transformer erzählt, wie ein einzelnes Forschungspapier von 2017 die Grundlage für ChatGPT, Gemini und Claude wurde.
Auch für Leser von Stille Revolutionen, die nach dem Memristor (Band 1) verstehen wollen, wie Software-Architektur und Hardware-Innovation zusammenhängen.
Bevor es ChatGPT gab
