WerkzeugkastenVerifikationsbericht

Start / Werkzeugkasten / Verifikationsbericht

Verifikations­bericht der Rechner.

Rechnen die Werkzeuge richtig? Dieser Bericht vergleicht den gemeinsamen Rechenkern aller Rechner mit zertifizierten Referenzdaten, etablierter Statistiksoftware und veröffentlichten Beispielen. Er entsteht bei jedem Bau neu.

Stand der Prüfung 11.10.2026Rechenkern-Version cc0089e8Ergebnis: alle Prüfungen bestanden

Verifiziert, nicht validiert

Verifikation heißt hier: Der Rechenkern liefert für bekannte Eingaben die Ergebnisse, die anerkannte Quellen vorgeben. Validierung heißt in der Medizintechnik etwas anderes: der Nachweis, dass eine Software für einen bestimmten Einsatzzweck in einer bestimmten Organisation geeignet ist. Das kann nur die Organisation selbst leisten, die sie einsetzt. Die Werkzeuge dieser Seite sind deshalb verifiziert, bleiben aber Demonstrationen und sind nicht validiert.

Gemessen wird als Abweichung vom Sollwert, bei den NIST-Daten als Zahl richtiger Stellen (LRE, log relative error). Je Funktion ist vorab eine Annahme festgelegt und begründet.

NIST Statistical Reference Datasets

Das US-amerikanische National Institute of Standards and Technology stellt Datensätze mit zertifizierten Ergebnissen bereit, darunter absichtlich numerisch schwierige: Werte, die sich erst in der neunten oder vierzehnten Stelle unterscheiden. Geprüft: Mittelwert und Standardabweichung (NumAcc4) und alle elf Datensätze zur einfachen Varianzanalyse. Zum Vergleich steht jeweils SciPy 1.18.1. Bei 13 gleichen führenden Stellen sind in doppelter Genauigkeit nur etwa 4 richtige Stellen möglich; daher die Annahme ≥ 4 für „höher“.

DatensatzSchwierigkeitGrößezertifiziertRechenkernrichtige StellenSciPyAnnahmeErgebnis
NumAcc4höherMittelwert10000000,210000000,21515≥ 4bestanden
NumAcc4höherStandardabweichung0,10,1000000005587938,258,25≥ 4bestanden
SiRstvniedrigF-Statistik (einfache Varianzanalyse)1,180462374402551,1804623744024513,113,1≥ 9bestanden
SmLs01niedrigF-Statistik (einfache Varianzanalyse)21211515≥ 9bestanden
SmLs02niedrigF-Statistik (einfache Varianzanalyse)2012011515≥ 9bestanden
SmLs03niedrigF-Statistik (einfache Varianzanalyse)200120011514,2≥ 9bestanden
AtmWtAgmittelF-Statistik (einfache Varianzanalyse)15,94673356779315,946733566676910,210,2≥ 8bestanden
SmLs04mittelF-Statistik (einfache Varianzanalyse)2121,000000000776110,410,4≥ 8bestanden
SmLs05mittelF-Statistik (einfache Varianzanalyse)201201,00000001241810,210,2≥ 8bestanden
SmLs06mittelF-Statistik (einfache Varianzanalyse)20012001,0000001288310,210,2≥ 8bestanden
SmLs07höherF-Statistik (einfache Varianzanalyse)2121,00081188781884,414,41≥ 4bestanden
SmLs08höherF-Statistik (einfache Varianzanalyse)201201,0130040959484,194,19≥ 4bestanden
SmLs09höherF-Statistik (einfache Varianzanalyse)20012001,134926220954,174,17≥ 4bestanden

Referenzsoftware SciPy und scikit-learn

19 Funktionen des Rechenkerns gegen SciPy 1.18.1 und scikit-learn 1.9.1: feste Raster bis in die Randbereiche und Zufallsfälle mit festem Startwert.

FunktionReferenzFällegrößte AbweichungAnnahmeBegründungErgebnis
p-Wert t-Verteilung, zweiseitigSciPy 1.18.1492,9 · 10-131,0 · 10-10geschlossene Formelbestanden
kritischer t-WertSciPy 1.18.1358,5 · 10-131,0 · 10-9geschlossene Formelbestanden
p-Wert F-VerteilungSciPy 1.18.1252,8 · 10-131,0 · 10-10geschlossene Formelbestanden
Binomialverteilung, VerteilungsfunktionSciPy 1.18.1765,0 · 10-131,0 · 10-10geschlossene Formelbestanden
Normalverteilung, VerteilungsfunktionSciPy 1.18.1131,3 · 10-151,0 · 10-12geschlossene Formelbestanden
Normalverteilung, QuantilSciPy 1.18.1157,2 · 10-101,0 · 10-9geschlossene Formelbestanden
unvollständige GammafunktionSciPy 1.18.1367,2 · 10-151,0 · 10-10geschlossene Formelbestanden
Welch-t-Test (t, p, Freiheitsgrade)SciPy 1.18.1154,4 · 10-141,0 · 10-9geschlossene Formelbestanden
Varianzanalyse (F, p)SciPy 1.18.187,2 · 10-151,0 · 10-9geschlossene Formelbestanden
Anderson-Darling A²SciPy 1.18.164,8 · 10-141,0 · 10-9geschlossene Formelbestanden
Cohens Kappascikit-learn 1.9.141,9 · 10-161,0 · 10-12geschlossene Formelbestanden
Fleiss’ Kappa (unabhängige Umsetzung der Formel)NumPy, Formel nach Fleiss (1971)31,7 · 10-151,0 · 10-12geschlossene Formelbestanden
nichtzentrale t-VerteilungSciPy 1.18.1454,5 · 10-131,0 · 10-6numerische Integrationbestanden
nichtzentrale t-Verteilung, QuantilSciPy 1.18.1459,7 · 10-141,0 · 10-6Umkehrung der numerischen Integrationbestanden
studentisierte Spannweite (Tukey)SciPy 1.18.1803,7 · 10-91,0 · 10-5numerische Doppelintegrationbestanden
studentisierte Spannweite, QuantilSciPy 1.18.1481,1 · 10-71,0 · 10-4Umkehrung der Doppelintegrationbestanden
Trennschärfe t-TestSciPy (nichtzentrale t)245,9 · 10-151,0 · 10-5numerische Integrationbestanden
Toleranzfaktor kSciPy (nichtzentrale t, Normalquantil)242,7 · 10-141,0 · 10-6über die nichtzentrale t-Verteilungbestanden
Stichprobenumfang Gut/SchlechtSciPy (Binomial)1800geschlossene Formelbestanden

NIST/SEMATECH e-Handbook of Statistical Methods

Rechenbeispiel, Ausschuss-Tabelle und Vertrauensgrenze aus Abschnitt 6.1.6 „What is Process Capability?“. Die Tabelle nennt 64 ppm bei Cp = 1,33; exakt sind es 66,1 ppm bei 1,33 und 63,3 ppm bei 4/3. Die Tabelle rechnet mit gerundeten Werten; die exakte Gegenprobe mit SciPy steht in derselben Liste.

PrüfungQuelleSollRechenkernAbweichungErgebnis
Cp (Pp im Kern), USL 20, LSL 8, x̄ 16, s 2NIST/SEMATECH e-Handbook, 6.1.6, Beispiel110bestanden
Cpk (Ppk im Kern)NIST/SEMATECH e-Handbook, 6.1.6, Beispiel0,66670,6666673,3 · 10-5bestanden
Cp über Maschinenfähigkeit (Cm, gleiche Formel)NIST/SEMATECH e-Handbook, 6.1.6, Beispiel110bestanden
Cpk über CmkNIST/SEMATECH e-Handbook, 6.1.6, Beispiel0,66670,6666673,3 · 10-5bestanden
Cpu (einseitig oben)NIST/SEMATECH e-Handbook, 6.1.6, Beispiel0,66670,6666673,3 · 10-5bestanden
Cpl (einseitig unten)NIST/SEMATECH e-Handbook, 6.1.6, Beispiel1,33331,333333,3 · 10-5bestanden
Ausschuss bei Cp 1.00, zentriert (0,27 %)NIST/SEMATECH e-Handbook, 6.1.6, Tabelle0,00270,00269982,0 · 10-7bestanden
Ausschuss bei Cp 1.33, zentriert (64 ppm; exakt 2·(1−Φ(4)) = 63,3 ppm, die Tabelle rundet auf)NIST/SEMATECH e-Handbook, 6.1.6, Tabelle6,4 · 10-56,3 · 10-56,6 · 10-7bestanden
Ausschuss bei Cp 1.67, zentriert (0,6 ppm)NIST/SEMATECH e-Handbook, 6.1.6, Tabelle6,0 · 10-75,7 · 10-72,7 · 10-8bestanden
Ausschuss bei Cp 2.00, zentriert (2 ppb)NIST/SEMATECH e-Handbook, 6.1.6, Tabelle2,0 · 10-92,0 · 10-92,7 · 10-11bestanden
Ausschuss bei Cp 1.0000, exakt gegen SciPySciPy (Normalverteilung)0,00269980,00269982,0 · 10-17bestanden
Ausschuss bei Cp 1.3333, exakt gegen SciPySciPy (Normalverteilung)6,3 · 10-56,3 · 10-52,3 · 10-19bestanden
Ausschuss bei Cp 1.6667, exakt gegen SciPySciPy (Normalverteilung)5,7 · 10-75,7 · 10-78,9 · 10-17bestanden
Ausschuss bei Cp 2.0000, exakt gegen SciPySciPy (Normalverteilung)2,0 · 10-92,0 · 10-91,1 · 10-16bestanden
Untere Grenze des zweiseitigen 95-%-Bereichs, Cpk 1.0 bei n = 25NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990)0,6883860,6883863,3 · 10-16bestanden
Untere Grenze des zweiseitigen 95-%-Bereichs, Cpk 1.33 bei n = 50NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990)1,050941,050942,2 · 10-16bestanden
Untere Grenze des zweiseitigen 95-%-Bereichs, Cpk 1.67 bei n = 100NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990)1,428391,428392,2 · 10-16bestanden
Untere Grenze des zweiseitigen 95-%-Bereichs, Cpk 2.0 bei n = 30NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990)1,471651,471656,7 · 10-16bestanden
Untere Grenze des zweiseitigen 95-%-Bereichs, Cpk 0.8 bei n = 200NIST/SEMATECH e-Handbook, 6.1.6, Formel (Bissell 1990)0,7088330,7088331,1 · 10-16bestanden

Formeln mit Literaturquelle

Wofür es keine frei verfügbaren zertifizierten Datensätze gibt, rechnet eine unabhängige zweite Umsetzung in Python und NumPy die veröffentlichte Formel nach: Messsystemanalyse nach der Mittelwert-Spannweiten-Methode (Konstanten nach Duncan) und per Varianzanalyse mit Wechselwirkung (Montgomery), Messmittelfähigkeit Cg und Cgk, Maschinenfähigkeit, Prozessfähigkeit mit gleitender Spannweite und mit Teilgruppen, Sigma-Niveau und Wirkungen im Versuchsplan. Die Konstanten der Mittelwert-Spannweiten-Methode sind im Rechner wie in der Praxis üblich auf vier Stellen gerundet; daher die Annahme 10−3 für diese Zeile, sonst 10−9.

Kennzahlengruppegeprüfte Wertegrößte relative AbweichungErgebnis
Messsystem, Mittelwert-Spannweiten-Methode404,9 · 10-4bestanden
Messsystem, Varianzanalyse562,8 · 10-15bestanden
Messmittel Cg, Cgk69,3 · 10-13bestanden
Cm, Cmk und Pp, Ppk (mit s)102,2 · 10-16bestanden
Cp, Cpk mit gleitender Spannweite60bestanden
Cp, Cpk mit Teilgruppen (R̄/d2)42,6 · 10-14bestanden
Sigma-Niveau81,7 · 10-12bestanden
Versuchsplan 2³ (Wirkungen)212,7 · 10-15bestanden

Methoden und Quellen

Alle Verfahren sind veröffentlichte Mathematik; die Umsetzung ist eigener Code der Seite, ohne eingebundene Statistik- oder Machine-Learning-Bibliotheken. SciPy, scikit-learn, NumPy und pandas dienen nur als Referenz beim Prüfen. Je Verfahren die Primärquelle:

BereichVerfahrenEingesetzt fürQuelle
GrundlagenSummation mit FehlerkompensationMittelwerte und Quadratsummen im RechenkernNeumaier, A. (1974): Rundungsfehleranalyse einiger Verfahren zur Summation endlicher Summen. ZAMM 54, 39–51.
Grundlagenln Γ, unvollständige Gamma- und Betafunktionp-Werte von t-, F- und χ²-VerteilungNIST Digital Library of Mathematical Functions, Formeln 5.5.1, 5.5.3, 5.11.1, 8.9.2, 8.11.4, 8.17.4, 8.17.22; Kettenbrüche nach Lentz, W. J. (1976), Applied Optics 15(3), 668–671, und Thompson, I. J.; Barnett, A. R. (1986), J. Comput. Phys. 64, 490–509.
GrundlagenQuantil der NormalverteilungVertrauensgrenzen, StichprobenumfangAcklam, P. J. (2003): An algorithm for computing the inverse normal cumulative distribution function (zur freien Verwendung veröffentlicht).
GrundlagenNichtzentrale t-Verteilungexakte Untergrenze einseitiger FähigkeitsindizesJohnson, N. L.; Kotz, S.; Balakrishnan, N. (1995): Continuous Univariate Distributions, 2. Aufl., Bd. 2, Kap. 31. Wiley.
TestsWelch-t-TestGruppen vergleichen (zwei Gruppen)Welch, B. L. (1947): The generalization of “Student’s” problem when several different population variances are involved. Biometrika 34, 28–35.
TestsVarianzanalyseGruppen vergleichen, MesssystemanalyseFisher, R. A. (1925): Statistical Methods for Research Workers. Oliver and Boyd; Montgomery, D. C.: Design and Analysis of Experiments. Wiley.
TestsGames-Howell-Vergleich, studentisierte Spannweitepaarweise GruppenvergleicheGames, P. A.; Howell, J. F. (1976): Pairwise multiple comparison procedures with unequal n’s and/or variances. J. Educational Statistics 1(2), 113–125. Verteilung der studentisierten Spannweite durch eigene numerische Integration.
TestsAnderson-Darling-TestVerteilung prüfenAnderson, T. W.; Darling, D. A. (1954): A test of goodness of fit. JASA 49, 765–769; p-Wert-Näherung nach D’Agostino, R. B.; Stephens, M. A. (1986): Goodness-of-Fit Techniques. Marcel Dekker.
TestsVertrauensintervall für AnteileGut/Schlecht-PrüfungClopper, C. J.; Pearson, E. S. (1934): The use of confidence or fiducial limits illustrated in the case of the binomial. Biometrika 26, 404–413.
QualitätRegelkarten und Konstanten (d₂, A₂, D₃, D₄)StabilitätShewhart, W. A. (1931): Economic Control of Quality of Manufactured Product. Van Nostrand; Montgomery, D. C.: Introduction to Statistical Quality Control. Wiley.
QualitätFähigkeitsindizes Cp, Cpk, Pp, PpkFähigkeitKane, V. E. (1986): Process capability indices. J. Quality Technology 18(1), 41–52.
QualitätUntergrenze für CpkFähigkeitBissell, A. F. (1990): How reliable is your capability index? Applied Statistics 39(3), 331–340.
QualitätMesssystemanalyse mit Varianzanalyse (%GRR, ndc)Messsystem bewertenMontgomery, D. C.; Runger, G. C. (1993): Gauge capability and designed experiments. Quality Engineering 6(1), 115–135 und 6(2), 289–305; Kriterien 10 % und 30 % als verbreitete Praxis (AIAG, Measurement Systems Analysis, 4. Aufl. 2010).
QualitätCohens und Fleiss’ KappaPrüfer bei Gut/Schlecht vergleichenCohen, J. (1960): A coefficient of agreement for nominal scales. Educ. Psychol. Meas. 20, 37–46; Fleiss, J. L. (1971): Measuring nominal scale agreement among many raters. Psychol. Bulletin 76(5), 378–382.
VersuchVollfaktorielle und teilfaktorielle Pläne, Effekte, VermengungVersuchsplan erstellen und auswertenBox, G. E. P.; Hunter, J. S.; Hunter, W. G. (2005): Statistics for Experimenters, 2. Aufl. Wiley; Montgomery, D. C.: Design and Analysis of Experiments. Wiley.
VersuchLenth-Verfahren für Pläne ohne Fehler-FreiheitsgradeVersuchsplan auswertenLenth, R. V. (1989): Quick and easy analysis of unreplicated factorials. Technometrics 31(4), 469–473.
QualitätToleranzintervalle (normal exakt, verteilungsfrei)Toleranzintervall (Verifikation)ISO 16269-6:2014; Odeh, R. E.; Owen, D. B. (1980): Tables for Normal Tolerance Limits. Dekker; Wilks, S. S. (1941), Ann. Math. Stat. 12, 91–96.
QualitätNachweis ohne Fehler, Clopper-Pearson, AnnahmestichprobeNachweis aus Gut/Schlecht-Prüfungen, Prüfumfang planenClopper, C. J.; Pearson, E. S. (1934), Biometrika 26, 404–413; Schilling, E. G.; Neubauer, D. V.: Acceptance Sampling in Quality Control (CRC); ISO 2859-1 (Begriffe).
QualitätMessmittelfähigkeit Verfahren 1 (Cg, Cgk)Messmittelfähigkeit (Verfahren 1)VDA Band 5 (2021); Robert Bosch GmbH: Heft 10 „Fähigkeit von Mess- und Prüfprozessen“

Gefundener Fehler

Die erste Stufe hat einen echten Fehler gefunden: Die Varianzanalyse verlor bei Messwerten mit vielen gleichen führenden Stellen an Genauigkeit; beim schwierigsten NIST-Datensatz ergab sie F = 15.501 statt 2.001. Seit 04.10.2026 rechnet der Kern mit verschobenen Werten und einer fehlerkompensierten Summe und ist bei allen elf Datensätzen so genau wie SciPy oder genauer. Alle übrigen Prüfreihen wurden danach erneut durchlaufen.

Grenzen und Nachvollzug

Für Fähigkeitskennzahlen und Messsystemanalyse gibt es keine frei verfügbaren zertifizierten Datensätze; die Beispiele der Handbücher von VDA und AIAG sind urheberrechtlich geschützt und hier nicht verwendet. Diese Kennzahlen sind gegen die veröffentlichten Formeln und eine unabhängige Umsetzung verifiziert. Was die Rechner nicht prüfen, etwa ob die Voraussetzungen im eigenen Prozess erfüllt sind, steht bei jedem Werkzeug.

Die Prüfungen laufen automatisiert vor jeder Freigabe; dieser Bericht entsteht beim Bau aus ihren Ergebnissen. Prüfprogramme und Referenzdaten stelle ich auf Anfrage gern zur Verfügung: kontakt@gefuegewerk.com.

Über diese Seite

Gefügewerk ist eine Fachseite von Dennis Schopenhauer über Prozessoptimierung: wie Methoden, Daten, Menschen und Rahmenbedingungen zusammenwirken.

Kontakt: kontakt@gefuegewerk.com