WerkzeugkastenMensch – Prüfen und Lernen
Daten – Messen und Auswerten
Methodik – Six Sigma und Lean
Mensch – Prüfen und Lernen
Rahmen – Fähigkeit und Stichproben
Recherche und Lernen
Geführter Weg
Werkzeugkasten · Mensch
Mensch: Prüfen und Lernen.
Wie verlässlich urteilen Menschen, wenn sie gut und schlecht unterscheiden? Das Werkzeug wertet eine Prüferübereinstimmung aus: jeder Prüfer mit sich selbst, die Prüfer untereinander und alle gegen die Referenz.
Mensch · 1
Prüferübereinstimmung bewerten
Attributive Prüferübereinstimmung · Kappa nach Cohen und Fleiss · Fehlschlupf und Fehlalarm · exakte Vertrauensbereiche
Muster mit bekanntem Urteil, die Referenz, werden von zwei oder drei Prüfern beurteilt, auf Wunsch zweimal in neuer Reihenfolge. Klicken Sie die Urteile in die Tabelle oder fügen Sie einen Block aus Excel ein (gut/schlecht, g/s, i.O./n.i.O. oder 0/1).
Prüferübereinstimmung bewerten
Demo · Rechnung verifiziert · nicht validiert
Für Fachleute: alle Kennwerte
Methode und Grenzen: Übereinstimmung als Anteil der Muster, bei denen alle betrachteten Urteile gleich sind, mit exaktem 95-%-Vertrauensbereich nach Clopper-Pearson. Kappa nach Cohen für die Wiederholbarkeit (Durchgang 1 gegen 2) und für jeden Prüfer gegen die Referenz (alle Urteile des Prüfers gepaart mit der Referenz), Kappa nach Fleiss für die Übereinstimmung zwischen allen Urteilen. Fehlschlupf: schlechte Muster als gut beurteilt; Fehlalarm: gute Muster als schlecht beurteilt. Verbreitete Richtwerte: Kappa ab 0,9 gut, unter 0,75 ungenügend; Fehlschlupf höchstens 2 %, Fehlalarm höchstens 5 %. Ergebnisse hängen stark von der Auswahl der Muster ab: Grenzmuster gehören hinein. Hintergrund in den Beiträgen Sichtprüfung und Aufmerksamkeit und Messsystemanalyse. Keine validierte Software, nichts wird gespeichert.