Validierung & Testing

Überblick

Das Validierungs- & Testmodul ist die Sicherheitstest-Management-Schicht der ThreatZ-Plattform. Es ermöglicht Automotive-Cybersicherheitsteams die Planung, Durchführung, Überwachung und Berichterstattung von Sicherheitstestaktivitäten in Übereinstimmung mit ISO/SAE 21434 und UN R155. Das Modul verbindet vorgelagerte Bedrohungsanalyse- und Risikobehandlungsergebnisse mit nachgelagerter Compliance-Evidenz durch strukturierte Testdurchführung.

Kernkonzepte

Testfälle

Testfälle sind die grundlegende Arbeitseinheit. Jeder Testfall umfasst einen Titel, eine Beschreibung, eine Kategorie, eine STRIDE-Klassifizierung, detaillierte Schritte und konfigurierbare Parameter. Testfälle können manuell erstellt, aus externen Quellen importiert oder über KI-Empfehlungen generiert werden. Jeder Testfall kann mit einer oder mehreren Cybersicherheitsanforderungen, Ansprüchen oder Sicherheitszielen verknüpft werden — für vollständige Rückverfolgbarkeit.

Testbänke

Testbänke repräsentieren die physischen oder virtuellen Umgebungen, in denen Tests durchgeführt werden. Jede Testbank führt einen leichtgewichtigen Agenten aus, der sich bei der Plattform registriert, seinen Gesundheitsstatus meldet und Testaufträge empfängt. Testbänke können mit ARXML-Definitionen, CAN-Datenbankdateien und werkzeugspezifischen Pfaden (z. B. CANoe/CANalyzer) konfiguriert werden. Eine Testbank kann sich in einem von vier Zuständen befinden: Online, Offline, Ungesund oder Blockiert.

Kampagnen

Kampagnen sind die Ausführungseinheit, die Testfälle für einen bestimmten Testlauf gruppiert. Eine Kampagne wird einer Testbank zugewiesen und kann konfiguriert werden mit:

• Ausführungsmodus: Sequenziell oder Parallel
• Fehlerverhalten: Stopp beim ersten Fehler oder Fortfahren
• Timeouts und Wiederholungen: Pro-Test- und Pro-Kampagnen-Limits
• Protokollpakete: Vordefinierte Sätze von Testvektoren zum Importieren
• Angriffsvektoren: Spezifische Angriffe mit Parameter-Overrides
• Fuzzing-Konfiguration: Modus (Exploration, gezielt, Regression, Minimierung), Strategie (zufällig, abdeckungsgesteuert, grammatikbasiert, Mutation, Hybrid), Iterationslimits, Zeitbegrenzungen und Corpus-Management
• Sicherheitsbeschränkungen: Maximaler Buslast-Prozentsatz, Fehlerrahmen-Schwellenwerte und automatische Abbruchbedingungen

Kampagnentypen umfassen: Penetration, Fuzz, Robustheit, Compliance, Systemtest, Service Pack und allgemeine Testfälle.

Arbeitsabläufe

Testplanung

1. Überprüfung der Cybersicherheitsanforderungen und Ansprüche aus dem Risikobehandlungsmodul
2. Erstellen oder Importieren von Testfällen für jede Anforderung
3. Verknüpfung von Testfällen mit Anforderungen, Ansprüchen und Sicherheitszielen
4. Überprüfung der Abdeckungsmetriken zur Identifizierung von Lücken
5. KI-gestützte Vorschläge zur Generierung von Testfällen für nicht abgedeckte Bereiche nutzen

Testdurchführung

1. Kampagne erstellen und Testfälle auswählen
2. Testbank zuweisen und Ausführungsparameter konfigurieren
3. Optional Protokollpakete und Angriffsvektoren hinzufügen
4. Kampagne starten — die Plattform koordiniert mit dem Testbank-Agenten über WebSocket
5. Fortschritt im Live-Dashboard überwachen
6. Sicherheitsereignisse in Echtzeit überprüfen (Schweregrade: Fatal, Warnung, Info)
7. Ergebnisse und Artefakte nach Abschluss sammeln

Abdeckungsanalyse

Das Modul berechnet die Abdeckung über mehrere Dimensionen:

• Anforderungsabdeckung: Prozentsatz der Anforderungen mit mindestens einem verknüpften Testfall
• Anspruchsabdeckung: Prozentsatz der durch Testdurchführung validierten Ansprüche
• Bestehensrate: Verhältnis von bestandenen zu fehlgeschlagenen Testdurchführungen
• Lückenidentifikation: Liste der Anforderungen/Ansprüche ohne verknüpfte oder durchgeführte Tests

Sicherheitsfunktionen

Das Modul enthält integrierte Sicherheitsmechanismen zum Schutz der Testressourcen während der Ausführung:

• Buslastüberwachung: Warnungen und automatischer Stopp, wenn die CAN-Buslast konfigurierte Schwellenwerte überschreitet
• Fehlerrahmen-Erkennung: Verfolgt Fehlerrahmen und löst Sicherheitsereignisse bei Schwellenwertüberschreitung aus
• Abbruchbedingungen: Konfigurierbare Regeln, die eine Kampagne automatisch beenden, wenn kritische Sicherheitsgrenzen überschritten werden
• Testbank-Blockierung: Möglichkeit, eine Testbank für neue Zuweisungen zu sperren, wenn Sicherheitsbedenken identifiziert werden

Testbank-Einrichtung

Um eine Testbank mit der Plattform zu verbinden:

1. Testbank-Agenten auf dem Zielrechner installieren
2. Netzwerkzugang konfigurieren (CAN-Schnittstellen, Ethernet)
3. Erforderliche Werkzeuge installieren (CANoe/CANalyzer, Python-Abhängigkeiten)
4. Agenten mit einem API-Schlüssel bei der Plattform registrieren
5. Konnektivität über den Gesundheitsprüfungsmechanismus verifizieren
6. Testfälle zuweisen und mit der Ausführung beginnen

Artefaktverwaltung

Alle Testdurchführungsartefakte werden zentral gesammelt und gespeichert, darunter:

• Ausführungsprotokolle
• Netzwerk-Traces (CAN, Ethernet)
• Werkzeugspezifische Berichte
• Screenshots und Nachweisdateien

Diese Artefakte dienen als Compliance-Nachweis und können in regulatorischen Einreichungen referenziert werden.

TestBench Agent

Für Organisationen, die Sicherheitstests direkt auf Hardware ausführen müssen, ist der ThreatZ TestBench Agent ein produktionsreifer Testclient, der auf Ihrem Teststand läuft und Kampagnen gegen reale ECUs und Fahrzeugnetzwerke ausführt. Er liefert 36+ Protokoll-Fuzzer (CAN 2.0, CAN FD, CAN XL, LIN, FlexRay, DoIP, SOME/IP, UDS und mehr), eine herstellerneutrale Hardware-Abstraktionsschicht (Vector, Peak, Kvaser, Intrepid, SocketCAN), CWE-gesteuerte Angriffsintelligenz und ein 5-Stufen-Sicherheitseskalationssystem. Alle Findings und Artefakte fließen zurück in das Validierung & Testing Modul für volle TARA-Rückverfolgbarkeit.

Den vollständigen TestBench Agent KB-Artikel lesen →

Integration mit anderen Säulen