WerkzeugkastenVerifikationsbericht
Daten – Messen und Auswerten
Methodik – Six Sigma und Lean
Mensch – Prüfen und Lernen
Rahmen – Fähigkeit und Stichproben
Recherche und Lernen
Geführter Weg
Start / Werkzeugkasten / Verifikationsbericht
Verifikationsbericht der Rechner.
Rechnen die Werkzeuge richtig? Dieser Bericht vergleicht den gemeinsamen Rechenkern aller Rechner mit zertifizierten Referenzdaten, etablierter Statistiksoftware und veröffentlichten Beispielen. Er entsteht bei jedem Bau neu.
Verifiziert, nicht validiert
Verifikation heißt hier: Der Rechenkern liefert für bekannte Eingaben die Ergebnisse, die anerkannte Quellen vorgeben. Validierung heißt in der Medizintechnik etwas anderes: der Nachweis, dass eine Software für einen bestimmten Einsatzzweck in einer bestimmten Organisation geeignet ist. Das kann nur die Organisation selbst leisten, die sie einsetzt. Die Werkzeuge dieser Seite sind deshalb verifiziert, bleiben aber Demonstrationen und sind nicht validiert.
Gemessen wird als Abweichung vom Sollwert, bei den NIST-Daten als Zahl richtiger Stellen (LRE, log relative error). Je Funktion ist vorab eine Annahme festgelegt und begründet.
NIST Statistical Reference Datasets
Das US-amerikanische National Institute of Standards and Technology stellt Datensätze mit zertifizierten Ergebnissen bereit, darunter absichtlich numerisch schwierige: Werte, die sich erst in der neunten oder dreizehnten Stelle unterscheiden. Geprüft: Mittelwert und Standardabweichung (NumAcc4) und alle elf Datensätze zur einfachen Varianzanalyse. Zum Vergleich steht jeweils SciPy 1.17.1. Bei 13 gleichen führenden Stellen sind in doppelter Genauigkeit nur etwa 4 richtige Stellen möglich; daher die Annahme ≥ 4 für „höher“.
| Datensatz | Schwierigkeit | Größe | zertifiziert | Rechenkern | richtige Stellen | SciPy | Annahme | Ergebnis |
|---|---|---|---|---|---|---|---|---|
| NumAcc4 | höher | Mittelwert | 10000000,2 | 10000000,2 | 15 | 15 | ≥ 4 | bestanden |
| NumAcc4 | höher | Standardabweichung | 0,1 | 0,100000000558793 | 8,25 | 8,25 | ≥ 4 | bestanden |
| SiRstv | niedrig | F-Statistik (einfache Varianzanalyse) | 1,18046237440255 | 1,18046237440245 | 13,1 | 13,1 | ≥ 9 | bestanden |
| SmLs01 | niedrig | F-Statistik (einfache Varianzanalyse) | 21 | 21 | 15 | 15 | ≥ 9 | bestanden |
| SmLs02 | niedrig | F-Statistik (einfache Varianzanalyse) | 201 | 201 | 15 | 15 | ≥ 9 | bestanden |
| SmLs03 | niedrig | F-Statistik (einfache Varianzanalyse) | 2001 | 2001 | 15 | 13,9 | ≥ 9 | bestanden |
| AtmWtAg | mittel | F-Statistik (einfache Varianzanalyse) | 15,946733567793 | 15,9467335666769 | 10,2 | 10,2 | ≥ 8 | bestanden |
| SmLs04 | mittel | F-Statistik (einfache Varianzanalyse) | 21 | 21,0000000007761 | 10,4 | 10,4 | ≥ 8 | bestanden |
| SmLs05 | mittel | F-Statistik (einfache Varianzanalyse) | 201 | 201,000000012418 | 10,2 | 10,2 | ≥ 8 | bestanden |
| SmLs06 | mittel | F-Statistik (einfache Varianzanalyse) | 2001 | 2001,00000012883 | 10,2 | 10,2 | ≥ 8 | bestanden |
| SmLs07 | höher | F-Statistik (einfache Varianzanalyse) | 21 | 21,0008118878188 | 4,41 | 4,41 | ≥ 4 | bestanden |
| SmLs08 | höher | F-Statistik (einfache Varianzanalyse) | 201 | 201,013004095948 | 4,19 | 4,19 | ≥ 4 | bestanden |
| SmLs09 | höher | F-Statistik (einfache Varianzanalyse) | 2001 | 2001,13492622095 | 4,17 | 4,17 | ≥ 4 | bestanden |
Referenzsoftware SciPy und scikit-learn
19 Funktionen des Rechenkerns gegen SciPy 1.17.1 und scikit-learn 1.8.0: feste Raster bis in die Randbereiche und Zufallsfälle mit festem Startwert.
| Funktion | Referenz | Fälle | größte Abweichung | Annahme | Begründung | Ergebnis |
|---|---|---|---|---|---|---|
| p-Wert t-Verteilung, zweiseitig | SciPy 1.17.1 | 49 | 4,8 · 10-13 | 1,0 · 10-10 | geschlossene Formel | bestanden |
| kritischer t-Wert | SciPy 1.17.1 | 35 | 1,9 · 10-12 | 1,0 · 10-9 | geschlossene Formel | bestanden |
| p-Wert F-Verteilung | SciPy 1.17.1 | 25 | 1,5 · 10-12 | 1,0 · 10-10 | geschlossene Formel | bestanden |
| Binomialverteilung, Verteilungsfunktion | SciPy 1.17.1 | 76 | 1,9 · 10-12 | 1,0 · 10-10 | geschlossene Formel | bestanden |
| Normalverteilung, Verteilungsfunktion | SciPy 1.17.1 | 13 | 1,5 · 10-14 | 1,0 · 10-12 | geschlossene Formel | bestanden |
| Normalverteilung, Quantil | SciPy 1.17.1 | 15 | 7,2 · 10-10 | 1,0 · 10-9 | geschlossene Formel | bestanden |
| unvollständige Gammafunktion | SciPy 1.17.1 | 36 | 4,9 · 10-12 | 1,0 · 10-10 | geschlossene Formel | bestanden |
| Welch-t-Test (t, p, Freiheitsgrade) | SciPy 1.17.1 | 15 | 7,5 · 10-13 | 1,0 · 10-9 | geschlossene Formel | bestanden |
| Varianzanalyse (F, p) | SciPy 1.17.1 | 8 | 2,8 · 10-12 | 1,0 · 10-9 | geschlossene Formel | bestanden |
| Anderson-Darling A² | SciPy 1.17.1 | 6 | 1,4 · 10-13 | 1,0 · 10-9 | geschlossene Formel | bestanden |
| Cohens Kappa | scikit-learn 1.8.0 | 4 | 1,9 · 10-16 | 1,0 · 10-12 | geschlossene Formel | bestanden |
| Fleiss’ Kappa (unabhängige Umsetzung der Formel) | NumPy, Formel nach Fleiss (1971) | 3 | 1,7 · 10-15 | 1,0 · 10-12 | geschlossene Formel | bestanden |
| nichtzentrale t-Verteilung | SciPy 1.17.1 | 45 | 1,0 · 10-11 | 1,0 · 10-6 | numerische Integration | bestanden |
| nichtzentrale t-Verteilung, Quantil | SciPy 1.17.1 | 45 | 3,7 · 10-10 | 1,0 · 10-6 | Umkehrung der numerischen Integration | bestanden |
| studentisierte Spannweite (Tukey) | SciPy 1.17.1 | 80 | 3,7 · 10-9 | 1,0 · 10-5 | numerische Doppelintegration | bestanden |
| studentisierte Spannweite, Quantil | SciPy 1.17.1 | 48 | 1,1 · 10-7 | 1,0 · 10-4 | Umkehrung der Doppelintegration | bestanden |
| Trennschärfe t-Test | SciPy (nichtzentrale t) | 24 | 4,1 · 10-11 | 1,0 · 10-5 | numerische Integration | bestanden |
| Toleranzfaktor k | SciPy (nichtzentrale t, Normalquantil) | 24 | 5,5 · 10-11 | 1,0 · 10-6 | über die nichtzentrale t-Verteilung | bestanden |
| Stichprobenumfang Gut/Schlecht | SciPy (Binomial) | 18 | 0 | 0 | geschlossene Formel | bestanden |
NIST/SEMATECH e-Handbook of Statistical Methods
Rechenbeispiel, Ausschuss-Tabelle und Vertrauensgrenze aus Abschnitt 6.1.6 „What is Process Capability?“. Die Tabelle nennt 64 ppm bei Cp = 1,33; exakt sind es 63,3 ppm. Die Tabelle rundet auf; die exakte Gegenprobe mit SciPy steht in derselben Liste.
| Prüfung | Quelle | Soll | Rechenkern | Abweichung | Ergebnis |
|---|---|---|---|---|---|
| Cp (Pp im Kern), USL 20, LSL 8, x̄ 16, s 2 | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 1 | 1 | 0 | bestanden |
| Cpk (Ppk im Kern) | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 0,6667 | 0,666667 | 3,3 · 10-5 | bestanden |
| Cp über Maschinenfähigkeit (Cm, gleiche Formel) | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 1 | 1 | 0 | bestanden |
| Cpk über Cmk | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 0,6667 | 0,666667 | 3,3 · 10-5 | bestanden |
| Cpu (einseitig oben) | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 0,6667 | 0,666667 | 3,3 · 10-5 | bestanden |
| Cpl (einseitig unten) | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 1,3333 | 1,33333 | 3,3 · 10-5 | bestanden |
| Ausschuss bei Cp 1.00, zentriert (0,27 %) | NIST/SEMATECH e-Handbook, 6.1.6, Tabelle | 0,0027 | 0,0026998 | 2,0 · 10-7 | bestanden |
| Ausschuss bei Cp 1.33, zentriert (64 ppm; exakt 2·(1−Φ(4)) = 63,3 ppm, die Tabelle rundet auf) | NIST/SEMATECH e-Handbook, 6.1.6, Tabelle | 6,4 · 10-5 | 6,3 · 10-5 | 6,6 · 10-7 | bestanden |
| Ausschuss bei Cp 1.67, zentriert (0,6 ppm) | NIST/SEMATECH e-Handbook, 6.1.6, Tabelle | 6,0 · 10-7 | 5,7 · 10-7 | 2,7 · 10-8 | bestanden |
| Ausschuss bei Cp 2.00, zentriert (2 ppb) | NIST/SEMATECH e-Handbook, 6.1.6, Tabelle | 2,0 · 10-9 | 2,0 · 10-9 | 2,7 · 10-11 | bestanden |
| Ausschuss bei Cp 1.0000, exakt gegen SciPy | SciPy (Normalverteilung) | 0,0026998 | 0,0026998 | 2,0 · 10-16 | bestanden |
| Ausschuss bei Cp 1.3333, exakt gegen SciPy | SciPy (Normalverteilung) | 6,3 · 10-5 | 6,3 · 10-5 | 2,3 · 10-19 | bestanden |
| Ausschuss bei Cp 1.6667, exakt gegen SciPy | SciPy (Normalverteilung) | 5,7 · 10-7 | 5,7 · 10-7 | 8,9 · 10-17 | bestanden |
| Ausschuss bei Cp 2.0000, exakt gegen SciPy | SciPy (Normalverteilung) | 2,0 · 10-9 | 2,0 · 10-9 | 1,1 · 10-16 | bestanden |
| Untere 95-%-Grenze Cpk 1.0 bei n = 25 | NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990) | 0,688386 | 0,688386 | 2,7 · 10-15 | bestanden |
| Untere 95-%-Grenze Cpk 1.33 bei n = 50 | NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990) | 1,05094 | 1,05094 | 2,4 · 10-15 | bestanden |
| Untere 95-%-Grenze Cpk 1.67 bei n = 100 | NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990) | 1,42839 | 1,42839 | 2,2 · 10-15 | bestanden |
| Untere 95-%-Grenze Cpk 2.0 bei n = 30 | NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990) | 1,47165 | 1,47165 | 4,9 · 10-15 | bestanden |
| Untere 95-%-Grenze Cpk 0.8 bei n = 200 | NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990) | 0,708833 | 0,708833 | 7,8 · 10-16 | bestanden |
Formeln mit Literaturquelle
Wofür es keine frei verfügbaren zertifizierten Datensätze gibt, rechnet eine unabhängige zweite Umsetzung in Python und NumPy die veröffentlichte Formel nach: Messsystemanalyse nach der Mittelwert-Spannweiten-Methode (Konstanten nach Duncan) und per Varianzanalyse mit Wechselwirkung (Montgomery), Messmittelfähigkeit Cg und Cgk, Maschinenfähigkeit, Prozessfähigkeit mit gleitender Spannweite und mit Teilgruppen, Sigma-Niveau und Wirkungen im Versuchsplan. Die Konstanten der Mittelwert-Spannweiten-Methode sind im Rechner wie in der Praxis üblich auf vier Stellen gerundet; daher die Annahme 10−3 für diese Zeile, sonst 10−9.
| Kennzahlengruppe | geprüfte Werte | größte relative Abweichung | Ergebnis |
|---|---|---|---|
| Messsystem, Mittelwert-Spannweiten-Methode | 40 | 4,9 · 10-4 | bestanden |
| Messsystem, Varianzanalyse | 56 | 3,0 · 10-12 | bestanden |
| Messmittel Cg, Cgk | 6 | 9,3 · 10-13 | bestanden |
| Cm, Cmk und Pp, Ppk (mit s) | 10 | 2,2 · 10-16 | bestanden |
| Cp, Cpk mit gleitender Spannweite | 6 | 0 | bestanden |
| Cp, Cpk mit Teilgruppen (R̄/d2) | 4 | 2,6 · 10-14 | bestanden |
| Sigma-Niveau | 8 | 1,7 · 10-12 | bestanden |
| Versuchsplan 2³ (Wirkungen) | 21 | 1,9 · 10-15 | bestanden |
Gefundener Fehler
Die erste Stufe hat einen echten Fehler gefunden: Die Varianzanalyse verlor bei Messwerten mit vielen gleichen führenden Stellen an Genauigkeit; beim schwierigsten NIST-Datensatz ergab sie F = 15.501 statt 2.001. Seit 04.10.2026 rechnet der Kern mit verschobenen Werten und einer fehlerkompensierten Summe und ist bei allen elf Datensätzen so genau wie SciPy oder genauer. Alle übrigen Prüfreihen wurden danach erneut durchlaufen.
Grenzen und Nachvollzug
Für Fähigkeitskennzahlen und Messsystemanalyse gibt es keine frei verfügbaren zertifizierten Datensätze; die Beispiele der Handbücher von VDA und AIAG sind urheberrechtlich geschützt und hier nicht verwendet. Diese Kennzahlen sind gegen die veröffentlichten Formeln und eine unabhängige Umsetzung verifiziert. Was die Rechner nicht prüfen, etwa ob die Voraussetzungen im eigenen Prozess erfüllt sind, steht bei jedem Werkzeug.
Die Prüfungen laufen automatisch bei jeder Veröffentlichung der Seite; dieser Bericht entsteht dabei neu. Prüfprogramme und Referenzdaten stelle ich auf Anfrage gern zur Verfügung: kontakt@gefuegewerk.com.