Die attributive Übereinstimmungsanalyse prüft, ob Prüfpersonen dieselben Teile wiederholt gleich einstufen, untereinander übereinstimmen und eine festgelegte Referenz treffen. Das sind unterschiedliche Fragen. Prüfpersonen können sich einig sein und trotzdem falschliegen. Nutzen Sie verdeckte Wiederholungsprüfungen repräsentativer Teile einschließlich Grenzfällen mit einer begründeten Referenzmethode. Dieses kleine fiktive Beispiel berechnet einfache Übereinstimmungsquoten und erklärt, warum ein guter Durchschnitt weder ein Prüfsystem qualifiziert noch einen geeigneten Studienplan ersetzt.
Wiederholbarkeit, Übereinstimmung zwischen Personen und Richtigkeit gegenüber der Referenz trennen.
Eine Abweichung zum konkreten Teil und Prüfdurchgang zurückverfolgen.
Numerisches Gage R&R nicht auf kategoriale Entscheidungen anwenden.
Die Studie an die Entscheidungsart anpassen
Eine attributive Entscheidung weist eine Kategorie zu, etwa Gut/Schlecht oder einen Schweregrad. Minitab unterscheidet Übereinstimmung innerhalb einer Prüfperson, zwischen Prüfpersonen und mit einem bekannten Standard. Ein kontinuierliches Gage R&R untersucht numerische Messwerte und beantwortet eine andere Frage.
Definieren Sie Fehler und Prüfbedingungen. Bewahren Sie bei visuellen Oberflächenentscheidungen Referenzbilder oder Vergleichsteile auf und legen Sie Beleuchtung, Betrachtungsabstand und erlaubte Hilfsmittel fest. Eine Referenzeinstufung ohne freigegebene Grundlage verschiebt das Problem nur in die Referenzspalte.
Dieselben Teile zweimal ohne Einsicht in das erste Ergebnis prüfen
Der illustrative Datensatz umfasst 10 Teile, zwei Prüfpersonen A und B sowie zwei Runden, also 40 Bewertungen. Teile 1 bis 5 haben die Referenz Gut und Teile 6 bis 10 die Referenz Schlecht. Die Stichprobe ist für die Rechnung bewusst klein und ausgeglichen, keine empfohlene Qualifizierungsstichprobe.
A trifft die Referenz bis auf Teil 10 in Runde 2. B bewertet Teil 5 in beiden Runden als Schlecht und Teil 6 nur in Runde 1 als Gut. Alle übrigen Bewertungen stimmen mit der Referenz überein. Präsentieren Sie Teile in zufälliger Reihenfolge, verbergen Sie frühere Bewertungen und sorgen Sie dafür, dass jede Runde eine neue Prüfung statt eines Gedächtnistests ist.
| Teile | Referenz | A Runde 1 | A Runde 2 | B Runde 1 | B Runde 2 |
|---|---|---|---|---|---|
| 1-4 | Gut | Gut | Gut | Gut | Gut |
| 5 | Gut | Gut | Gut | Schlecht | Schlecht |
| 6 | Schlecht | Schlecht | Schlecht | Gut | Schlecht |
| 7-9 | Schlecht | Schlecht | Schlecht | Schlecht | Schlecht |
| 10 | Schlecht | Schlecht | Gut | Schlecht | Schlecht |
Die drei Vergleiche getrennt berechnen
A wiederholt 9 von 10 Entscheidungen; die Übereinstimmung innerhalb der Prüfperson beträgt 90 %. B wiederholt ebenfalls 9 von 10. Zwischen beiden stimmen in jeder Runde 8 von 10 Bewertungen überein. Das sind 16 von 20 Bewertungspaaren oder 80 %. Teilen Sie diese Paarzahl nicht durch alle 40 Bewertungen.
Gegenüber der Referenz hat A 19 richtige Bewertungen von 20, also 95 %. B erreicht 17 von 20 oder 85 %. Insgesamt ergeben 36 von 40 richtigen Bewertungen 90 %. Der Durchschnitt verdeckt aber die wiederholte falsche Ablehnung von Teil 5 durch B und den übersehenen Fehler an Teil 10 durch A.
Richtigkeit gegenüber der Referenz: A 19/20 = 95 %; B 17/20 = 85 %. Die 40 Bewertungen umfassen zwei Runden mit denselben 10 Teilen, nicht 40 unabhängige Teile.
Fehlerrichtung und Grenzfälle betrachten
Eine falsche Annahme akzeptiert ein laut Referenz schlechtes Teil; eine falsche Ablehnung weist ein laut Referenz gutes Teil zurück. Die Folgen können stark abweichen. Halten Sie Richtung und Teilnachweis fest, statt nur die Gesamtübereinstimmung zu melden.
Zufallsbereinigte Kennzahlen wie Kappa können Kontext ergänzen. Kategorienhäufigkeit, Studienaufbau und Unsicherheit beeinflussen jedoch die Interpretation. Dieser Artikel setzt keinen universell akzeptablen Prozentwert und leitet aus 10 Teilen keine Qualifizierung ab. Wählen Sie eine Studie, die zur Entscheidung und ihren Folgen passt.
- Kategorien und Referenz definieren
Praktische Kriterien und die Grundlage der Referenzentscheidungen abstimmen.
- Repräsentative Teile auswählen
Relevante Streuung und schwierige Zustände einbeziehen, statt eine künstlich einfache Auswahl zu zeigen.
- Verdeckte Wiederholungen durchführen
Teile zufällig anordnen und Prüfperson, Runde und Entscheidung einzeln bewahren.
- Abweichungen untersuchen
Teilnachweise, Methode, Hilfsmittel und Schulung prüfen, bevor die geänderte Studie wiederholt wird.
Die Methode vor der Schuldfrage prüfen
Eine unklare Fehlergrenze, schwankende Beleuchtung oder unzugängliche Oberfläche kann Uneinigkeit erzeugen, die eine weitere Schulungsfolie nicht löst. Untersuchen Sie Arbeitsmethode und Referenz gemeinsam. Bewahren Sie bei einer Methodenänderung alte Ergebnisse auf, damit die nächste Studie einen klaren Versionswechsel hat.
Nutzen Sie Gage R&R für Fragen zu numerischen Messungen. Die Annahmestichprobe betrifft dagegen die gesonderte Losentscheidung. Ein Stichprobenplan behebt nicht die fehlende Fähigkeit, einen Fehler zu erkennen.
Prüfnachweise für nachfolgende Entscheidungen brauchbar halten
Ein Gut-Schlecht-Feld kann in Ausbeuteberichte oder einen KI-Trainingsdatensatz eingehen. Ändert sich die Definition zwischen Schichten, beschreibt die resultierende Quote oder Sammlung von Einstufungen womöglich eine wechselnde Prüfregel statt eines veränderten Prozesses.
Der Download enthält alle 40 fiktiven Bewertungen und Felder für eine eigene Erfassung. Lesen Sie auch den Artikel zu vorausschauender Qualität, bevor Sie solche Einstufungen als verlässliche Zielwerte für ein Modell verwenden.
Ein ergänzendes Beispiel von Abolfazl
Wiederholte Messungen prüfen, bevor die Bearbeitung als Ursache gilt.
Auf Englisch im persönlichen Blog von Gründer Abolfazl. Ergänzende Lektüre, keine unabhängige technische Quelle.
Praxis-Checkliste
- Jede Kategorie praktisch definieren.
- Eine begründete Referenz festlegen.
- Repräsentative Grenzfälle einbeziehen.
- Runden verdeckt halten und Reihenfolge zufällig wählen.
- Jede Einzelbewertung bewahren.
- Für jeden Vergleich den richtigen Nenner verwenden.
- Falsche Annahme von falscher Ablehnung trennen.
- Unsicherheit und Methodenänderungen vor der Qualifizierung prüfen.
Häufige Fragen
Häufige Fragen
Quellen und Vertiefung
Maßgebliche Referenzen für Recherche und Prüfung dieses Leitfadens.