WerkzeugkastenVerifikationsbericht
Daten – Messen und Auswerten
Methodik – Six Sigma und Lean
Mensch – Prüfen und Lernen
Rahmen – Fähigkeit und Stichproben
Recherche und Lernen
Geführter Weg
Start / Werkzeugkasten / Verifikationsbericht
Verifikationsbericht der Rechner.
Rechnen die Werkzeuge richtig? Dieser Bericht vergleicht den gemeinsamen Rechenkern aller Rechner mit zertifizierten Referenzdaten, etablierter Statistiksoftware und veröffentlichten Beispielen. Er entsteht bei jedem Bau neu.
Verifiziert, nicht validiert
Verifikation heißt hier: Der Rechenkern liefert für bekannte Eingaben die Ergebnisse, die anerkannte Quellen vorgeben. Validierung heißt in der Medizintechnik etwas anderes: der Nachweis, dass eine Software für einen bestimmten Einsatzzweck in einer bestimmten Organisation geeignet ist. Das kann nur die Organisation selbst leisten, die sie einsetzt. Die Werkzeuge dieser Seite sind deshalb verifiziert, bleiben aber Demonstrationen und sind nicht validiert.
Gemessen wird als Abweichung vom Sollwert, bei den NIST-Daten als Zahl richtiger Stellen (LRE, log relative error). Je Funktion ist vorab eine Annahme festgelegt und begründet.
NIST Statistical Reference Datasets
Das US-amerikanische National Institute of Standards and Technology stellt Datensätze mit zertifizierten Ergebnissen bereit, darunter absichtlich numerisch schwierige: Werte, die sich erst in der neunten oder vierzehnten Stelle unterscheiden. Geprüft: Mittelwert und Standardabweichung (NumAcc4) und alle elf Datensätze zur einfachen Varianzanalyse. Zum Vergleich steht jeweils SciPy 1.18.1. Bei 13 gleichen führenden Stellen sind in doppelter Genauigkeit nur etwa 4 richtige Stellen möglich; daher die Annahme ≥ 4 für „höher“.
| Datensatz | Schwierigkeit | Größe | zertifiziert | Rechenkern | richtige Stellen | SciPy | Annahme | Ergebnis |
|---|---|---|---|---|---|---|---|---|
| NumAcc4 | höher | Mittelwert | 10000000,2 | 10000000,2 | 15 | 15 | ≥ 4 | bestanden |
| NumAcc4 | höher | Standardabweichung | 0,1 | 0,100000000558793 | 8,25 | 8,25 | ≥ 4 | bestanden |
| SiRstv | niedrig | F-Statistik (einfache Varianzanalyse) | 1,18046237440255 | 1,18046237440245 | 13,1 | 13,1 | ≥ 9 | bestanden |
| SmLs01 | niedrig | F-Statistik (einfache Varianzanalyse) | 21 | 21 | 15 | 15 | ≥ 9 | bestanden |
| SmLs02 | niedrig | F-Statistik (einfache Varianzanalyse) | 201 | 201 | 15 | 15 | ≥ 9 | bestanden |
| SmLs03 | niedrig | F-Statistik (einfache Varianzanalyse) | 2001 | 2001 | 15 | 14,2 | ≥ 9 | bestanden |
| AtmWtAg | mittel | F-Statistik (einfache Varianzanalyse) | 15,946733567793 | 15,9467335666769 | 10,2 | 10,2 | ≥ 8 | bestanden |
| SmLs04 | mittel | F-Statistik (einfache Varianzanalyse) | 21 | 21,0000000007761 | 10,4 | 10,4 | ≥ 8 | bestanden |
| SmLs05 | mittel | F-Statistik (einfache Varianzanalyse) | 201 | 201,000000012418 | 10,2 | 10,2 | ≥ 8 | bestanden |
| SmLs06 | mittel | F-Statistik (einfache Varianzanalyse) | 2001 | 2001,00000012883 | 10,2 | 10,2 | ≥ 8 | bestanden |
| SmLs07 | höher | F-Statistik (einfache Varianzanalyse) | 21 | 21,0008118878188 | 4,41 | 4,41 | ≥ 4 | bestanden |
| SmLs08 | höher | F-Statistik (einfache Varianzanalyse) | 201 | 201,013004095948 | 4,19 | 4,19 | ≥ 4 | bestanden |
| SmLs09 | höher | F-Statistik (einfache Varianzanalyse) | 2001 | 2001,13492622095 | 4,17 | 4,17 | ≥ 4 | bestanden |
Referenzsoftware SciPy und scikit-learn
19 Funktionen des Rechenkerns gegen SciPy 1.18.1 und scikit-learn 1.9.1: feste Raster bis in die Randbereiche und Zufallsfälle mit festem Startwert.
| Funktion | Referenz | Fälle | größte Abweichung | Annahme | Begründung | Ergebnis |
|---|---|---|---|---|---|---|
| p-Wert t-Verteilung, zweiseitig | SciPy 1.18.1 | 49 | 2,9 · 10-13 | 1,0 · 10-10 | geschlossene Formel | bestanden |
| kritischer t-Wert | SciPy 1.18.1 | 35 | 8,5 · 10-13 | 1,0 · 10-9 | geschlossene Formel | bestanden |
| p-Wert F-Verteilung | SciPy 1.18.1 | 25 | 2,8 · 10-13 | 1,0 · 10-10 | geschlossene Formel | bestanden |
| Binomialverteilung, Verteilungsfunktion | SciPy 1.18.1 | 76 | 5,0 · 10-13 | 1,0 · 10-10 | geschlossene Formel | bestanden |
| Normalverteilung, Verteilungsfunktion | SciPy 1.18.1 | 13 | 1,3 · 10-15 | 1,0 · 10-12 | geschlossene Formel | bestanden |
| Normalverteilung, Quantil | SciPy 1.18.1 | 15 | 7,2 · 10-10 | 1,0 · 10-9 | geschlossene Formel | bestanden |
| unvollständige Gammafunktion | SciPy 1.18.1 | 36 | 7,2 · 10-15 | 1,0 · 10-10 | geschlossene Formel | bestanden |
| Welch-t-Test (t, p, Freiheitsgrade) | SciPy 1.18.1 | 15 | 4,4 · 10-14 | 1,0 · 10-9 | geschlossene Formel | bestanden |
| Varianzanalyse (F, p) | SciPy 1.18.1 | 8 | 7,2 · 10-15 | 1,0 · 10-9 | geschlossene Formel | bestanden |
| Anderson-Darling A² | SciPy 1.18.1 | 6 | 4,8 · 10-14 | 1,0 · 10-9 | geschlossene Formel | bestanden |
| Cohens Kappa | scikit-learn 1.9.1 | 4 | 1,9 · 10-16 | 1,0 · 10-12 | geschlossene Formel | bestanden |
| Fleiss’ Kappa (unabhängige Umsetzung der Formel) | NumPy, Formel nach Fleiss (1971) | 3 | 1,7 · 10-15 | 1,0 · 10-12 | geschlossene Formel | bestanden |
| nichtzentrale t-Verteilung | SciPy 1.18.1 | 45 | 4,5 · 10-13 | 1,0 · 10-6 | numerische Integration | bestanden |
| nichtzentrale t-Verteilung, Quantil | SciPy 1.18.1 | 45 | 9,7 · 10-14 | 1,0 · 10-6 | Umkehrung der numerischen Integration | bestanden |
| studentisierte Spannweite (Tukey) | SciPy 1.18.1 | 80 | 3,7 · 10-9 | 1,0 · 10-5 | numerische Doppelintegration | bestanden |
| studentisierte Spannweite, Quantil | SciPy 1.18.1 | 48 | 1,1 · 10-7 | 1,0 · 10-4 | Umkehrung der Doppelintegration | bestanden |
| Trennschärfe t-Test | SciPy (nichtzentrale t) | 24 | 5,9 · 10-15 | 1,0 · 10-5 | numerische Integration | bestanden |
| Toleranzfaktor k | SciPy (nichtzentrale t, Normalquantil) | 24 | 2,7 · 10-14 | 1,0 · 10-6 | über die nichtzentrale t-Verteilung | bestanden |
| Stichprobenumfang Gut/Schlecht | SciPy (Binomial) | 18 | 0 | 0 | geschlossene Formel | bestanden |
NIST/SEMATECH e-Handbook of Statistical Methods
Rechenbeispiel, Ausschuss-Tabelle und Vertrauensgrenze aus Abschnitt 6.1.6 „What is Process Capability?“. Die Tabelle nennt 64 ppm bei Cp = 1,33; exakt sind es 66,1 ppm bei 1,33 und 63,3 ppm bei 4/3. Die Tabelle rechnet mit gerundeten Werten; die exakte Gegenprobe mit SciPy steht in derselben Liste.
| Prüfung | Quelle | Soll | Rechenkern | Abweichung | Ergebnis |
|---|---|---|---|---|---|
| Cp (Pp im Kern), USL 20, LSL 8, x̄ 16, s 2 | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 1 | 1 | 0 | bestanden |
| Cpk (Ppk im Kern) | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 0,6667 | 0,666667 | 3,3 · 10-5 | bestanden |
| Cp über Maschinenfähigkeit (Cm, gleiche Formel) | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 1 | 1 | 0 | bestanden |
| Cpk über Cmk | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 0,6667 | 0,666667 | 3,3 · 10-5 | bestanden |
| Cpu (einseitig oben) | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 0,6667 | 0,666667 | 3,3 · 10-5 | bestanden |
| Cpl (einseitig unten) | NIST/SEMATECH e-Handbook, 6.1.6, Beispiel | 1,3333 | 1,33333 | 3,3 · 10-5 | bestanden |
| Ausschuss bei Cp 1.00, zentriert (0,27 %) | NIST/SEMATECH e-Handbook, 6.1.6, Tabelle | 0,0027 | 0,0026998 | 2,0 · 10-7 | bestanden |
| Ausschuss bei Cp 1.33, zentriert (64 ppm; exakt 2·(1−Φ(4)) = 63,3 ppm, die Tabelle rundet auf) | NIST/SEMATECH e-Handbook, 6.1.6, Tabelle | 6,4 · 10-5 | 6,3 · 10-5 | 6,6 · 10-7 | bestanden |
| Ausschuss bei Cp 1.67, zentriert (0,6 ppm) | NIST/SEMATECH e-Handbook, 6.1.6, Tabelle | 6,0 · 10-7 | 5,7 · 10-7 | 2,7 · 10-8 | bestanden |
| Ausschuss bei Cp 2.00, zentriert (2 ppb) | NIST/SEMATECH e-Handbook, 6.1.6, Tabelle | 2,0 · 10-9 | 2,0 · 10-9 | 2,7 · 10-11 | bestanden |
| Ausschuss bei Cp 1.0000, exakt gegen SciPy | SciPy (Normalverteilung) | 0,0026998 | 0,0026998 | 2,0 · 10-17 | bestanden |
| Ausschuss bei Cp 1.3333, exakt gegen SciPy | SciPy (Normalverteilung) | 6,3 · 10-5 | 6,3 · 10-5 | 2,3 · 10-19 | bestanden |
| Ausschuss bei Cp 1.6667, exakt gegen SciPy | SciPy (Normalverteilung) | 5,7 · 10-7 | 5,7 · 10-7 | 8,9 · 10-17 | bestanden |
| Ausschuss bei Cp 2.0000, exakt gegen SciPy | SciPy (Normalverteilung) | 2,0 · 10-9 | 2,0 · 10-9 | 1,1 · 10-16 | bestanden |
| Untere Grenze des zweiseitigen 95-%-Bereichs, Cpk 1.0 bei n = 25 | NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990) | 0,688386 | 0,688386 | 3,3 · 10-16 | bestanden |
| Untere Grenze des zweiseitigen 95-%-Bereichs, Cpk 1.33 bei n = 50 | NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990) | 1,05094 | 1,05094 | 2,2 · 10-16 | bestanden |
| Untere Grenze des zweiseitigen 95-%-Bereichs, Cpk 1.67 bei n = 100 | NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990) | 1,42839 | 1,42839 | 2,2 · 10-16 | bestanden |
| Untere Grenze des zweiseitigen 95-%-Bereichs, Cpk 2.0 bei n = 30 | NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990) | 1,47165 | 1,47165 | 6,7 · 10-16 | bestanden |
| Untere Grenze des zweiseitigen 95-%-Bereichs, Cpk 0.8 bei n = 200 | NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990) | 0,708833 | 0,708833 | 1,1 · 10-16 | bestanden |
Formeln mit Literaturquelle
Wofür es keine frei verfügbaren zertifizierten Datensätze gibt, rechnet eine unabhängige zweite Umsetzung in Python und NumPy die veröffentlichte Formel nach: Messsystemanalyse nach der Mittelwert-Spannweiten-Methode (Konstanten nach Duncan) und per Varianzanalyse mit Wechselwirkung (Montgomery), Messmittelfähigkeit Cg und Cgk, Maschinenfähigkeit, Prozessfähigkeit mit gleitender Spannweite und mit Teilgruppen, Sigma-Niveau und Wirkungen im Versuchsplan. Die Konstanten der Mittelwert-Spannweiten-Methode sind im Rechner wie in der Praxis üblich auf vier Stellen gerundet; daher die Annahme 10−3 für diese Zeile, sonst 10−9.
| Kennzahlengruppe | geprüfte Werte | größte relative Abweichung | Ergebnis |
|---|---|---|---|
| Messsystem, Mittelwert-Spannweiten-Methode | 40 | 4,9 · 10-4 | bestanden |
| Messsystem, Varianzanalyse | 56 | 2,8 · 10-15 | bestanden |
| Messmittel Cg, Cgk | 6 | 9,3 · 10-13 | bestanden |
| Cm, Cmk und Pp, Ppk (mit s) | 10 | 2,2 · 10-16 | bestanden |
| Cp, Cpk mit gleitender Spannweite | 6 | 0 | bestanden |
| Cp, Cpk mit Teilgruppen (R̄/d2) | 4 | 2,6 · 10-14 | bestanden |
| Sigma-Niveau | 8 | 1,7 · 10-12 | bestanden |
| Versuchsplan 2³ (Wirkungen) | 21 | 2,7 · 10-15 | bestanden |
Methoden und Quellen
Alle Verfahren sind veröffentlichte Mathematik; die Umsetzung ist eigener Code der Seite, ohne eingebundene Statistik- oder Machine-Learning-Bibliotheken. SciPy, scikit-learn, NumPy und pandas dienen nur als Referenz beim Prüfen. Je Verfahren die Primärquelle:
| Bereich | Verfahren | Eingesetzt für | Quelle |
|---|---|---|---|
| Grundlagen | Summation mit Fehlerkompensation | Mittelwerte und Quadratsummen im Rechenkern | Neumaier, A. (1974): Rundungsfehleranalyse einiger Verfahren zur Summation endlicher Summen. ZAMM 54, 39–51. |
| Grundlagen | ln Γ, unvollständige Gamma- und Betafunktion | p-Werte von t-, F- und χ²-Verteilung | NIST Digital Library of Mathematical Functions, Formeln 5.5.1, 5.5.3, 5.11.1, 8.9.2, 8.11.4, 8.17.4, 8.17.22; Kettenbrüche nach Lentz, W. J. (1976), Applied Optics 15(3), 668–671, und Thompson, I. J.; Barnett, A. R. (1986), J. Comput. Phys. 64, 490–509. |
| Grundlagen | Quantil der Normalverteilung | Vertrauensgrenzen, Stichprobenumfang | Acklam, P. J. (2003): An algorithm for computing the inverse normal cumulative distribution function (zur freien Verwendung veröffentlicht). |
| Grundlagen | Nichtzentrale t-Verteilung | exakte Untergrenze einseitiger Fähigkeitsindizes | Johnson, N. L.; Kotz, S.; Balakrishnan, N. (1995): Continuous Univariate Distributions, 2. Aufl., Bd. 2, Kap. 31. Wiley. |
| Tests | Welch-t-Test | Gruppen vergleichen (zwei Gruppen) | Welch, B. L. (1947): The generalization of “Student’s” problem when several different population variances are involved. Biometrika 34, 28–35. |
| Tests | Varianzanalyse | Gruppen vergleichen, Messsystemanalyse | Fisher, R. A. (1925): Statistical Methods for Research Workers. Oliver and Boyd; Montgomery, D. C.: Design and Analysis of Experiments. Wiley. |
| Tests | Games-Howell-Vergleich, studentisierte Spannweite | paarweise Gruppenvergleiche | Games, P. A.; Howell, J. F. (1976): Pairwise multiple comparison procedures with unequal n’s and/or variances. J. Educational Statistics 1(2), 113–125. Verteilung der studentisierten Spannweite durch eigene numerische Integration. |
| Tests | Anderson-Darling-Test | Verteilung prüfen | Anderson, T. W.; Darling, D. A. (1954): A test of goodness of fit. JASA 49, 765–769; p-Wert-Näherung nach D’Agostino, R. B.; Stephens, M. A. (1986): Goodness-of-Fit Techniques. Marcel Dekker. |
| Tests | Vertrauensintervall für Anteile | Gut/Schlecht-Prüfung | Clopper, C. J.; Pearson, E. S. (1934): The use of confidence or fiducial limits illustrated in the case of the binomial. Biometrika 26, 404–413. |
| Qualität | Regelkarten und Konstanten (d₂, A₂, D₃, D₄) | Stabilität | Shewhart, W. A. (1931): Economic Control of Quality of Manufactured Product. Van Nostrand; Montgomery, D. C.: Introduction to Statistical Quality Control. Wiley. |
| Qualität | Fähigkeitsindizes Cp, Cpk, Pp, Ppk | Fähigkeit | Kane, V. E. (1986): Process capability indices. J. Quality Technology 18(1), 41–52. |
| Qualität | Untergrenze für Cpk | Fähigkeit | Bissell, A. F. (1990): How reliable is your capability index? Applied Statistics 39(3), 331–340. |
| Qualität | Messsystemanalyse mit Varianzanalyse (%GRR, ndc) | Messsystem bewerten | Montgomery, D. C.; Runger, G. C. (1993): Gauge capability and designed experiments. Quality Engineering 6(1), 115–135 und 6(2), 289–305; Kriterien 10 % und 30 % als verbreitete Praxis (AIAG, Measurement Systems Analysis, 4. Aufl. 2010). |
| Qualität | Cohens und Fleiss’ Kappa | Prüfer bei Gut/Schlecht vergleichen | Cohen, J. (1960): A coefficient of agreement for nominal scales. Educ. Psychol. Meas. 20, 37–46; Fleiss, J. L. (1971): Measuring nominal scale agreement among many raters. Psychol. Bulletin 76(5), 378–382. |
| Versuch | Vollfaktorielle und teilfaktorielle Pläne, Effekte, Vermengung | Versuchsplan erstellen und auswerten | Box, G. E. P.; Hunter, J. S.; Hunter, W. G. (2005): Statistics for Experimenters, 2. Aufl. Wiley; Montgomery, D. C.: Design and Analysis of Experiments. Wiley. |
| Versuch | Lenth-Verfahren für Pläne ohne Fehler-Freiheitsgrade | Versuchsplan auswerten | Lenth, R. V. (1989): Quick and easy analysis of unreplicated factorials. Technometrics 31(4), 469–473. |
| Qualität | Toleranzintervalle (normal exakt, verteilungsfrei) | Toleranzintervall (Verifikation) | ISO 16269-6:2014; Odeh, R. E.; Owen, D. B. (1980): Tables for Normal Tolerance Limits. Dekker; Wilks, S. S. (1941), Ann. Math. Stat. 12, 91–96. |
| Qualität | Nachweis ohne Fehler, Clopper-Pearson, Annahmestichprobe | Nachweis aus Gut/Schlecht-Prüfungen, Prüfumfang planen | Clopper, C. J.; Pearson, E. S. (1934), Biometrika 26, 404–413; Schilling, E. G.; Neubauer, D. V.: Acceptance Sampling in Quality Control (CRC); ISO 2859-1 (Begriffe). |
| Qualität | Messmittelfähigkeit Verfahren 1 (Cg, Cgk) | Messmittelfähigkeit (Verfahren 1) | VDA Band 5 (2021); Robert Bosch GmbH: Heft 10 „Fähigkeit von Mess- und Prüfprozessen“ |
Gefundener Fehler
Die erste Stufe hat einen echten Fehler gefunden: Die Varianzanalyse verlor bei Messwerten mit vielen gleichen führenden Stellen an Genauigkeit; beim schwierigsten NIST-Datensatz ergab sie F = 15.501 statt 2.001. Seit 04.10.2026 rechnet der Kern mit verschobenen Werten und einer fehlerkompensierten Summe und ist bei allen elf Datensätzen so genau wie SciPy oder genauer. Alle übrigen Prüfreihen wurden danach erneut durchlaufen.
Grenzen und Nachvollzug
Für Fähigkeitskennzahlen und Messsystemanalyse gibt es keine frei verfügbaren zertifizierten Datensätze; die Beispiele der Handbücher von VDA und AIAG sind urheberrechtlich geschützt und hier nicht verwendet. Diese Kennzahlen sind gegen die veröffentlichten Formeln und eine unabhängige Umsetzung verifiziert. Was die Rechner nicht prüfen, etwa ob die Voraussetzungen im eigenen Prozess erfüllt sind, steht bei jedem Werkzeug.
Die Prüfungen laufen automatisiert vor jeder Freigabe; dieser Bericht entsteht beim Bau aus ihren Ergebnissen. Prüfprogramme und Referenzdaten stelle ich auf Anfrage gern zur Verfügung: kontakt@gefuegewerk.com.