Bernd von Mallinckrodt

doi:10.5281/zenodo.21917450

Verification · Validation · Uncertainty

Kill or validate: Jede Behauptung braucht einen Weg zum Scheitern.

BenchEWS trennt die korrekte Berechnung eines Verfahrens von der Frage, ob dieses Verfahren für einen benannten Zweck empirisch trägt. Erst beide Ebenen zusammen erlauben eine qualifizierte Aussage.

01 / Vom System zum geprüften Lauf

Kein Signal ohne bezeichnete Messkette.

01 · SYSTEMUntersuchungsgegenstand und Fragestellung
02 · BOUNDARYSystem, Umwelt und Zeithorizont
03 · OBSERVABLESZustandsbezug und Messkanäle
04 · DATAHerkunft, Sampling und Qualität
05 · MODELAnnahmen und Übergangsklasse
06 · MODULESZulässige, versionierte Indikatoren
07 · VERIFYKontrollen, Ground Truth und Kriterien
08 · RUNProvenienz, Ergebnis und Unsicherheit

Trennlinie: Verification fragt, ob die Software die Spezifikation korrekt umsetzt. Validation fragt, ob Modell und Verfahren für den ausdrücklich benannten Anwendungszweck hinreichend geeignet sind.

02 / Gestufter Prüfplan

Vom bekannten Referenzfall zur unabhängigen Wiederholung.

Stufe 1 · Rechenverifikation

Ziel: Referenzwerte und unabhängige Implementierungen prüfen Varianz, Lag-1-Autokorrelation, Fensterlogik, Randfälle und fehlende Werte.

Evidenz: Unit-, Property- und Regressionstests; numerische Toleranzen werden vor der Ausführung spezifiziert.

Kill-Kriterium: Abweichung von der mathematischen oder semantischen Spezifikation.

Stufe 2 · Robustheit

Ziel: Rauschen, Sampling, Fenster, Vorverarbeitung, Missingness und Parameterbereiche werden systematisch variiert.

Evidenz: Sensitivitätskarten, Ablationen, Surrogate sowie Null- und Negativkontrollen.

Kill-Kriterium: Instabilität oder Fehlalarme außerhalb des präregistrierten Gültigkeitsbereichs.

Stufe 3 · Out-of-sample

Ziel: Indikatorwahl und Schwellenwerte werden von unbekannten Prüffällen getrennt; Zukunftsinformation bleibt gesperrt.

Evidenz: Diskrimination, Fehlalarme, Vorwarnzeit, Kalibrierung und Unsicherheit.

Kill-Kriterium: Keine vorab definierte Besserleistung gegenüber Null- und Vergleichsverfahren.

Stufe 4 · Domänenvalidierung

Ziel: Ein konkretes System erhält Grenze, Beobachtungsmodell, Zeitskala, Ground Truth und domänenspezifische Verlustfunktion.

Evidenz: Versionierter Validierungsfall mit Datenherkunft, Annahmen und Übertragbarkeitsgrenzen.

Kill-Kriterium: Das Verfahren trägt nicht im benannten Anwendungs- und Gültigkeitsbereich.

Stufe 5 · Externe Replikation

Ziel: Unabhängige Gruppen wiederholen den Versuch mit veröffentlichten Daten, Code, Konfiguration und Seeds.

Evidenz: Replikationsbericht und dokumentierte Abweichungen.

Kill-Kriterium: Das Ergebnis hängt von nicht offengelegten Einstellungen oder nicht reproduzierbaren Schritten ab.

03 / Präregistrierte Entscheidung

Schwellenwerte werden vor dem Test festgelegt – nicht passend zum Ergebnis.

Je nach Fragestellung können Diskrimination, Precision-Recall, Fehlalarmrate, Vorwarnzeit, Kalibrierung, Robustheit oder domänenspezifischer Verlust relevant sein. BenchEWS setzt dafür keine erfundenen Universalgrenzen. Kriterien, Toleranzen, Vergleichsverfahren und Abbruchregeln müssen vor der Auswertung des Prüfsatzes feststehen.

PASSNur innerhalb des benannten Falls, der Version und der präregistrierten Kriterien.
FAILDas negative Ergebnis bleibt sichtbar und begrenzt oder verwirft die Behauptung.
INDETERMINATEDaten oder Identifizierbarkeit reichen nicht für eine Entscheidung.
NOT TESTEDFehlende Prüfung darf nicht als indirekter Erfolg gelesen werden.

04 / Gegenwärtiger Nachweis

Architekturweite Zielsetzung ist nicht gleich architekturweite Validierung.

Für den Frozen Legacy Kernel von Studio 1.4.0 ist die implementierte Referenzbasis auf rollierende Stichprobenvarianz (ddof=1) und rollierende Lag-1-Autokorrelation begrenzt. CRTI gehört zum wissenschaftlichen Forschungsprogramm, ist in dieser Releasefassung jedoch noch nicht als ausführbares Indikatormodul integriert. ECHO, SCD, CRTI, weitere Indikatorfamilien, Domain-Packs und Interventionsdiagnostik behalten jeweils ihren eigenen Implementierungs- und Validierungsstatus.

Mathematische Gültigkeitsgrenzen →Versionen und Roadmap →

Primärquellen / Further reading

Quellen für Prüfung, Integrität und Reproduzierbarkeit

Versionierte Primärquellen aus dem BenchEWS-Forschungsprogramm – ausgewählt für den Gegenstand dieses Kapitels.

Benchmark evidence