KI-Red-Teaming und LLM-Penetrationstests

This course contains the use of artificial intelligence.

Dieser Kurs wurde unter Zuhilfenahme von künstlicher Intelligenz erstellt.

Große Sprachmodelle sind schneller in Produktion gegangen als die Werkzeuge, mit denen man sie testet. Dieser praxisnahe Kurs zur offensiven Sicherheit zeigt Ihnen, wie Sie LLMs und die darauf gebauten Anwendungen und Agenten gezielt prüfen und brechen — und sie anschließend widerstandsfähig machen.

Sie arbeiten als Red Team für Stride, ein Fintech, dessen In-App-Assistent „Sol“ Geld bewegen und Kundendaten lesen kann. Nachdem ein Sicherheitsforscher Sol über das Feld für Buchungsvermerke dazu gebracht hatte, das Konto eines Kunden preiszugeben, hat Stride ein Red-Team-Programm aufgesetzt — und das sind Sie. Jede Technik, die Sie lernen, führen Sie an einer lokalen, absichtlich verwundbaren Kopie von Sol auf Ihrem eigenen Rechner aus. Nichts in diesem Kurs wird gegen Systeme eingesetzt, die Ihnen nicht gehören.

In 36 animierten Lektionen und 8 ausführbaren Labs lernen Sie:

• Die Angriffsfläche jeder LLM-Anwendung und jedes Agenten zu kartieren
• Direkte und indirekte Prompt-Injection auszuführen und ein reales Datenleck nachzustellen
• Jailbreaks und die Umgehung von Sicherheitsfiltern mit Persona-Framing, Kodierung, Multi-Turn/Crescendo, Many-Shot, automatisierten adversarialen Suffixen und sprachübergreifenden Tricks
• Angriffe mit adversarialen Eingaben, Extraktion von Trainingsdaten, Datenvergiftung, Backdoors und Modelldiebstahl durchzuführen
• RAG-Vergiftung, den Missbrauch von Tool- und Funktionsaufrufen, übermäßige Handlungsfähigkeit und unsichere Ausgabeverarbeitung auszunutzen (XSS/SSRF/RCE aus Modellausgaben)
• Eine gestaffelte Verteidigung aufzubauen: Guardrails, Canary-Tokens, Systemprompt-Härtung, Privilegientrennung, Sandboxing für RAG und Tools sowie Erkennung
• Red Teaming mit Garak, PyRIT und promptfoo zu automatisieren — einschließlich kontinuierlichem Red Teaming in CI/CD
• Einen governance-tauglichen Bericht zu schreiben, zugeordnet zu OWASP LLM Top 10, MITRE ATLAS und NIST AI RMF, und eine verantwortungsvolle Offenlegung durchzuführen

Jedes Angriffskapitel ist mit der Verteidigung gepaart, die den Angriff neutralisiert. Der Kurs endet mit einem Abschlussprojekt, einem vollständigen Einsatz: Scope festlegen, aufklären, ausnutzen, Auswirkung messen, Sol härten, die eigenen Angriffe wiederholen, um den Fix zu belegen, und einen veröffentlichungsreifen Red-Team-Bericht liefern.

Dies ist ein Kurs für Fortgeschrittene. Sie sollten Python sicher beherrschen, mit der Kommandozeile und Docker vertraut sein und bereits wie ein Sicherheitsprofi denken. Tiefe Machine-Learning-Mathematik brauchen Sie nicht — Lektion 2 behandelt genau die Modellinterna, die Sie für Angriffe benötigen.

Durchgängig verankerte Rahmenwerke: OWASP Top 10 für LLM-Anwendungen (2025), MITRE ATLAS, NIST AI RMF, der EU AI Act (KI-Verordnung der EU) und ISO/IEC 42001.

Die Lab-Umgebung, die Payloads und Sols Antworten sind auf Englisch — so, wie Sie ihnen in echten Einsätzen begegnen; alle Erklärungen sind auf Deutsch.

Am Ende verstehen Sie KI-Risiken nicht nur abstrakt — Sie können ein KI-System testen, belegen, was defekt ist, und dem Team zeigen, wie es behoben wird.