Ein Datenleck in Fertigungs-KI entsteht, wenn Entwicklung oder Bewertung Informationen nutzt, die zur beabsichtigten Entscheidung noch nicht verfügbar wären. Es entsteht auch, wenn abhängige Aufzeichnungen eine Grenze überschreiten, die neue Produktion abbilden soll. Teilen Sie Daten passend zum späteren Einsatz auf, einschließlich relevanter Zeit-, Teile- und Chargenbeziehungen. Passen Sie Vorverarbeitung nur an Trainingsdaten an. Dieser fiktive Bilddatensatz zeigt eine irreführende Zufallsaufteilung, ohne eine Modellleistung zu erfinden oder eine allgemeingültige Werksvalidierung zu behaupten.
Prüfen, ob jede Eingabe zum Entscheidungszeitpunkt vorliegt.
Bilder desselben Teils aus Überschneidungen zwischen Training und Bewertung heraushalten.
Zeit- und Gruppengrenzen auf die Einsatzaufgabe abstimmen.
Den Vorhersagemoment in der ersten Zeile des Auftrags festhalten
Angenommen, ein Modell soll unmittelbar nach der Kameraaufnahme entscheiden, ob ein Teil markiert wird. Eingaben dürfen Informationen enthalten, die zu diesem Zeitpunkt tatsächlich vorliegen. Ein späteres Endprüfergebnis kann die Zielreferenz sein, aber nicht zugleich Eingabe für diese frühere Entscheidung.
Scikit-learn definiert Datenlecks über zum Vorhersagezeitpunkt nicht verfügbare Informationen und warnt davor, Vorverarbeitung aus dem Testdatensatz zu lernen. In der Fertigung müssen Verfügbarkeit und Beziehungen zurückverfolgt werden. Eine verdächtig benannte Spalte zu entfernen reicht nicht.
| Mögliches Feld | Bei der Kameraentscheidung verfügbar? | Behandlung im Beispiel |
|---|---|---|
| Aktuelles Bild | Ja | Mögliche Eingabe nach Methodenvalidierung |
| Früherer Maschinenmesswert | Nur wenn tatsächlich empfangen und gültig | Zeitstempel und Verzögerung prüfen |
| Verwendungsentscheidung der Endprüfung | Nein | Spätere Zielreferenz, nie frühere Eingabe |
| Ausbeuteübersicht zum Schichtende | Nein | Aus dieser Entscheidung ausschließen |
| Chargen-ID | Bekannt, kann aber Abkürzungen codieren | Einsatzpassung und Gruppierung prüfen |
Dasselbe Teil auf beiden Seiten der Aufteilung erkennen
Unser illustrativer Datensatz hat 8 physische Teile aus 4 aufeinanderfolgenden Chargen, 2 Teile je Charge und 3 Bilder je Teil. Insgesamt sind es 24 Bilder. Eine verlockende Aufteilung weist Bilder 1 und 2 jedes Teils dem Training und Bild 3 dem Test zu.
Das ergibt 16 Trainingsbilder und 8 Testbilder. Jedes Testteil wurde aber schon im Training gesehen. Die Prüfung bewertet womöglich eine andere Ansicht bekannter Teile statt Leistung an neuen Teilen. Es gibt keinen Ergebniswert, weil kein Modell trainiert wurde. Der Fehler liegt darin, was die Aufteilung darstellt.
Die Aufteilung an die Frage nach neuen Chargen anpassen
Für eine zeitlich vorwärts gerichtete Lehrbewertung neuer Chargen gehen L1 und L2 ins Training: 4 Teile und 12 Bilder. L3 bleibt zur Abstimmung zurück: 2 Teile und 6 Bilder. L4 bildet den späteren Abschlusstest: 2 Teile und 6 Bilder. Kein Teil und keine Charge überschreiten diese Grenzen.
Dieser winzige Datensatz erklärt die Trennung. Er liefert nicht genügend Nachweise für ein nützliches Bildmodell. Ebenso wenig belegt er Leistung in einem anderen Werk oder bei ungesehenen Fehlerarten. Die tatsächliche Einsatzfrage braucht mehr repräsentative Gruppen und Zeiträume.
Alle 3 Bilder eines physischen Teils bleiben zusammen. Das schützt die festgelegte Gruppierung. Die kleinen Zahlen qualifizieren aber keine Modellleistung.
Passende Grenzen verbinden statt eine gewohnte Aufteilung wählen
Gruppenbasierte Aufteilung kann zusammengehörige Aufzeichnungen zusammenhalten. Zeitbasierte Aufteilung kann einen späteren Zeitraum prüfen. Ein Verfahren zur Gruppenaufteilung erzwingt nicht automatisch eine zeitliche Reihenfolge. Eine zeitliche Aufteilung verhindert nicht automatisch, dass ein langlebiges Teil oder eine Charge die Grenze überschreitet.
Bewahren Sie die tatsächliche Gruppen- und Zeitzuordnung auf und testen Sie sie direkt. Prüfen Sie auch die Verfügbarkeit der Zielreferenz: Training zu einem historischen Stichtag darf Ergebnisse, die damals noch nicht eingetroffen waren, nicht verwenden. Passen Sie Skalierung, Ergänzung fehlender Werte, Merkmalsauswahl und Abstimmung nur mit den erlaubten Entwicklungsdaten an.
- Einsatz und Entscheidungszeit definieren
Einheit, Ziel, Eingabeschluss und künftig vorherzusagende Grundgesamtheit festlegen.
- Abhängigkeit und Verfügbarkeit zuordnen
Wiederholte Teile, Chargen, Maschinen, Zeitüberschneidungen und verzögerte Zielreferenzen bestimmen.
- Die Aufteilung bauen und prüfen
Die genau beabsichtigten Zeit- und Gruppenausschlüsse verifizieren, statt dem Namen des Verfahrens zu vertrauen.
- Die Endbewertung vor Änderungen schützen
Zurückgehaltene Daten von Merkmals-, Modell- und Schwellenentscheidungen fernhalten.
Auch bei sauber wirkender Aufteilung auf Abkürzungen prüfen
Ein Chargencode, Kamerahintergrund oder Bedienvermerk kann im Entwicklungsdatensatz mit dem Ziel zusammenhängen, im Einsatz aber fehlen oder anders aussehen. Prüfen Sie repräsentative Fehlerbeispiele und relevante Untergruppenergebnisse, nicht nur einen Durchschnitt.
Hinterfragen Sie mit der attributiven Übereinstimmungsanalyse unstimmige Referenzeinstufungen. Prüfschwellen behandeln die gesonderte Abwägung der Entscheidungsregel. Eine saubere Aufteilung repariert keine ungültige Zieldefinition.
Bewertungsgrenze und Modellstand zusammenhalten
Der Datensatz sollte zeigen, was wann bekannt war, welche Gruppen ausgeschlossen wurden, welche Vorverarbeitung angepasst wurde und wer den Abschlusstest einsehen konnte. Führt der Test zu einer Neugestaltung, nennen Sie ihn Entwicklungsnachweis und beschaffen Sie eine neue Endbewertung.
Der Download enthält die fiktiven Zuordnungen der 24 Bilder und leere Prüffelder. Diese Aufteilung belegt noch keine bestimmte Modellgenauigkeit.
Ein ergänzendes Beispiel von Abolfazl
Einen formal gültigen Bestandssatz mit dem Regalnachweis vergleichen.
Auf Englisch im persönlichen Blog von Gründer Abolfazl. Ergänzende Lektüre, keine unabhängige technische Quelle.
Praxis-Checkliste
- Den genauen Vorhersagemoment aufschreiben.
- Eingabeverfügbarkeit und Verzögerung prüfen.
- Spätere Ergebnisse aus früheren Eingaben heraushalten.
- Wiederholte Teile und gemeinsame Chargen bestimmen.
- Zeit- und Gruppengrenzen beide testen.
- Vorverarbeitung an erlaubte Trainingsdaten anpassen.
- Abschlusstest aus der Schwellenabstimmung heraushalten.
- Unabhängige Einheiten und Grenzen neben Zeilenzahlen berichten.
Häufige Fragen
Häufige Fragen
Quellen und Vertiefung
Maßgebliche Referenzen für Recherche und Prüfung dieses Leitfadens.