Wenn das Ergebnis kein Messwert ist: Schweißnähte mit ordinaler und nominaler Zielgröße

Schritt 2 / Planung

Wie viele Proben braucht ein Urteil?

Eine Kategorie trägt weniger Information als ein Messwert. Eine einzelne Probe sagt nur „Poren“ oder „keine Poren“ — die Wahrscheinlichkeit dahinter erfährt man erst aus vielen. Ein Vollfaktorplan mit drei Stufen je Faktor hat 27 Einstellungen; die Frage ist, wie oft jede geschweißt werden muss.

Die Tabelle zeigt, wie oft die Auswertung brauchbar ist, wenn man die ganze Studie hundertmal aus den wahren Modellen zieht. „Auswertbar“ heißt: Das Modell konvergiert, jede Kategorie kommt vor, und keine Schätzung läuft ins Unendliche.

Das ordinale Modell ist genügsam — es schätzt eine Steigung je Faktor, gleich für alle Stufen. Das nominale ist es nicht: Es schätzt für jeden der drei Fehler eigene Steigungen, zwölf Parameter statt sechs. Mit einer Probe je Einstellung ist es in drei von vier Studien nicht auswertbar, mit zwei noch in einer von fünf. Ab drei Proben je Einstellung sind es 96 %, und eine vierte bringt kaum noch etwas. Gewählt sind deshalb 81 Proben.

Was „ins Unendliche laufen“ heißt, ist Trennung: Kommt ein seltener Fehler bei einer Gruppe von Einstellungen nie vor, lässt sich seine Wahrscheinlichkeit dort beliebig nahe an null rücken, und die Schätzung wächst ohne Grenze. DoEStat meldet das in der Auswertung („Trennung vermutet“). Das Problem wird mit jedem zusätzlichen Term größer — ein quadratischer Schutzgas-Term, der in einem Plan mit drei Stufen naheliegt, lässt in derselben Simulation bei 81 Proben nur 45 von 100 nominalen Auswertungen brauchbar, statt 96. Das Modell hier hat deshalb nur Haupteffekte.

Diese Planungsrechnung macht das Beispiel selbst, indem es die Studie aus den wahren Modellen wiederholt. Die Teststärke-Analyse in DoEStat deckt numerische und binomiale Zielgrößen ab, kategoriale mit mehr als zwei Stufen nicht.

Schritt 4 / Spritzer

Geordnete Stufen: das Modell der proportionalen Odds

Für eine geordnete Zielgröße wählt DoEStat das kumulative Logit-Modell: Es beschreibt die Wahrscheinlichkeit, höchstens eine bestimmte Stufe zu erreichen. Man kann es sich so vorstellen, dass hinter den vier Stufen eine unsichtbare Spritzneigung steht, die von den Faktoren verschoben wird; drei Schwellen teilen sie in die Stufen ein. Jeder Faktor bekommt eine Steigung, die für alle drei Schwellen gilt — daher „proportionale Odds“.

Eine positive Steigung schiebt die Naht zu mehr Spritzern. Der Strom wirkt stark (z = 5,7), das Schutzgas dämpft (p = 0,008), der Vorschub ist nicht nachweisbar (p = 0,33). Die Spalte „Wahrer Wert“ ist der Vergleich mit dem Modell, aus dem die Daten stammen — der Strom wird etwas überschätzt, Richtung und Rangfolge stimmen.

Trägt die Annahme gleicher Steigungen?

Das Modell behauptet, ein Faktor wirke an jeder Schwelle gleich stark. Ob die Daten das hergeben, prüft der Brant-Test: Er schätzt die drei Schwellen getrennt und vergleicht die Steigungen. Ein kleiner p-Wert hieße, dass ein Faktor etwa zwischen „keine“ und „wenige“ anders wirkt als zwischen „mäßig“ und „viele“ — dann wäre das multinomiale Modell die ehrlichere Wahl.

Kein Faktor widerspricht (gemeinsam p = 0,52). Das ordinale Modell darf bleiben — und es braucht für drei Faktoren drei Steigungen statt neun.

Die Wahrheitsmatrix vergleicht die beobachtete Stufe mit der wahrscheinlichsten Stufe laut Modell. 48 % Treffer klingen wenig, sind aber das Wesen einer Wahrscheinlichkeit: Bei einer Einstellung mit 45 % „wenige“ und 35 % „keine“ ist „wenige“ die beste Vorhersage und trotzdem oft falsch. „Mäßig“ ist nie die wahrscheinlichste Stufe — sie liegt zwischen zwei Nachbarn, die jeweils häufiger sind. Was das Modell zuverlässig trennt, sind die Enden: Keine Probe mit „keinen“ Spritzern wird als „mäßig“ oder „viele“ vorhergesagt, und umgekehrt.

Schritt 6 / Prozessfenster

Wo eine gute Naht am wahrscheinlichsten ist

Der Wahrscheinlichkeits-Profiler zeigt für jede Kategorie, wie sich ihre Wahrscheinlichkeit ändert, wenn man einen Faktor verschiebt und die anderen festhält. Die vier Kurven einer Spalte addieren sich überall zu eins. In DoEStat zieht man die Linien mit der Maus und sieht beide Zielgrößen zugleich.

Die Profiler stehen an der Einstellung, bei der eine gute Probe — kein Nahtfehler, höchstens wenige Spritzer — am wahrscheinlichsten ist. Gesucht wurde sie als Produkt der beiden Wahrscheinlichkeiten über ein Gitter des Versuchsraums:

Der Strom liegt im unteren Viertel des Bereichs: Mehr Strom bringt Spritzer und Einbrandkerben, weniger bringt Bindefehler. Vorschub und Schutzgas stehen am Rand des Versuchsraums — langsam schweißen und reichlich Gas sind hier schlicht besser. Wer jenseits davon sucht, verlässt den untersuchten Bereich; das Modell weiß dort nichts.

Bilanz

Was die richtige Skala gebracht hat

Zwei Zielgrößen, die sich nicht messen, nur einstufen lassen, und für jede das Modell, das zu ihrer Art passt. Das ordinale Modell nutzt die Reihenfolge der Spritzerstufen und kommt mit drei Steigungen aus; der Brant-Test hat bestätigt, dass das genügt. Das multinomiale Modell lässt jedem Nahtfehler seine eigene Ursache — und genau das war nötig, denn der Strom verhindert den einen Fehler und verursacht den anderen.

Der Preis ist die Probenzahl. Kategoriale Daten brauchen Wiederholungen, und das nominale Modell braucht mehr als das ordinale. Die Planungsrechnung vorab hat gezeigt, dass 54 Proben in einer von fünf Studien zu keinem brauchbaren Ergebnis geführt hätten, und dass ein naheliegender quadratischer Term die Sache verschlimmert.

Gegen die Wahrheit: Alle Faktoren, die im wahren Modell wirken, sind gefunden, mit richtigem Vorzeichen; alle, die nicht wirken, sind unauffällig. Die Schätzungen weichen um bis zu gut ein halbes Logit von der Wahrheit ab — bei 81 Proben mit je einem Urteil ist das die Genauigkeit, die man erwarten kann. Und die Bestätigung zeigt, dass die Wahrscheinlichkeit an der besten Einstellung etwas überschätzt wird: Wer eine Zusage machen muss, nimmt das Ergebnis der Bestätigungsproben, nicht die Vorhersage.