Modellvergleich
Modellvergleich
Das Modellvergleich-Tool vergleicht die Leistung eines oder mehrerer verschiedener Prognosemodelle auf Grundlage der Verwendung eines Validierungs- oder Test-Datasets. Es generiert einen Bericht, eine Tabelle mit grundlegenden Fehlerkennzahlen und eine Tabelle mit Prognoseergebnissen für die einzelnen Modelle. Das Tool unterstützt alle Modelle mit binärer Klassifizierung, bei der die Zielvariable nur zwei Ebenen besitzt, z. B. „Ja“ und „Nein“, multinominaler Klassifizierung, bei der die Zielvariable mehr als zwei Ebenen besitzt, z. B. „Auto“, „Bus“, „Zug“ und „Flugzeug“ und Regressionsmodelle (kontinuierliche Zielvariable).
Für Klassifizierungsprobleme bietet der Bericht die Gesamtgenauigkeit, die Genauigkeit pro Klasse, die F1-Bewertung und die Konfusionsmatrix der einzelnen Modelle. Für binäre Klassifizierungsmodelle werden auch Diagramme zur Leistungsdiagnose erstellt, die über einen Satz von Diagrammen wie Prognosegütediagramm, Gain-Chart, Genauigkeit-Trefferquote-Kurve und ROC-Kurve einen Vergleich der einzelnen Modelle ermöglichen. Für Regressionsmodelle liefert der Bericht die Korrelation zwischen vorhergesagten und tatsächlichen Werten, die Quadratwurzel der mittleren quadratischen Fehler (RMSE), den mittleren absoluten Fehler (MAE), den mittleren prozentualen Fehler (MPE) und den mittleren absoluten prozentualen Fehler (MAPE) für die Prognosen aller Modelle. Dabei muss beachtet werden, dass die Kennzahlen MPE und MAPE nicht definiert werden, falls alle Werte der Zielvariablen null sind, da bei beiden eine Division durch den Ist-Wert der einzelnen Beobachtungen erforderlich ist. In diesen Fällen wird anstelle von MAPE der gewichtete absolute prozentuale Fehler (die Summe der absoluten Fehler, dividiert durch die Summe der Ist-Werte) ausgegeben und MPE wird durch die Summe der Fehler über die Summe der Ist-Werte ersetzt. Auch wenn es ein Leichtes ist, Beispiele zu erfinden, in denen die Summe der Zielwerte gleich null ist, ist dieser Fall im realen Kontext eher unwahrscheinlich. Außerdem wird ein Diagramm bereitgestellt, das einen Vergleich der Ist-Werte mit den prognostizierten Werten bietet.
Beachten Sie, dass Benutzer – auch wenn dieses Tool den Vergleich mehrerer Modelle unterstützt – auch nur ein Modell verwenden können, um einen ähnlichen Leistungsbericht zu erhalten. Der Unterschied zwischen dem vom Modellvergleich gelieferten Bericht und der Berichtsausgabe vom R-Anker eines Prognose-Tools (z. B. Boosting-Modell) besteht darin, dass ersterer ein Test-Dataset verwendet, das sich vom Training-Dataset unterscheidet, mit dem das Modell erstellt wird. Dementsprechend zielt dieser Bericht darauf ab, eine Out-of-Sample-Evaluierung der Modellleistung zu liefern.
Eingaben verbinden
Das Modellvergleich-Tool erfordert zwei Eingabedatenströme.
M-Anker: Eine Zusammenführung verschiedener Modelle, die durch den O-Ausgabeanker eines Alteryx Prognose-Tools erstellt wurde Um mehr als ein Modell zu vergleichen, kombinieren Sie mehrere Modellobjekte in einem einzigen Datenstrom.
D-Anker: Das Test-Dataset, das sich in der Regel von dem Training-Dataset unterscheidet, das zum Erstellen des Modells/der Modelle verwendet wurde.
Tool-Konfiguration
Die positive Klasse in der Zielvariable (nur binäre Klassifizierung, optional): optional. Wenn dieser Wert nicht angegeben ist, wird der letzte Wert der alphabetisch sortierten Klassennamen als die positive Klasse verwendet.
Wenn die Zielvariable die Werte „Wahr“ und „Falsch“ annehmen kann, dann wird „Wahr“ die positive Klasse, weil „Wahr“ bei einer alphabetischen Sortierung nach „Falsch“ kommt.
Beschränkungen der Konfigurationsoption
Für Regressionsprobleme gilt das Konzept der Klasse nicht, da die Zielvariable stetige Zahlen enthält. Für multinomiale Klassifizierungsmodelle liefert der Bericht für jedes Modell eine vollständige Konfusionsmatrix, weshalb es keine Auswirkung auf die Ausgaben hat, ob eine positive Klasse ausgewählt wird oder nicht. Für binäre Klassifizierungsmodelle sollte die positive Klasse das Ergebnis sein, auf das die Analyse abzielt. Wenn z. B. das Ziel darin besteht, festzustellen, welche Kunden mit höherer Wahrscheinlichkeit auf eine Direktmarketingkampagne reagieren, und die Antwortwerte als „Ja“ und „Nein“ codiert sind, dann wird der Fokus wahrscheinlich auf den Ja-Antworten liegen, weshalb diese im Modellvergleich als die „positive Klasse“ ausgewählt werden sollten.
Ausgabe anzeigen
Verbinden Sie ein Durchsuchen-Tool mit den einzelnen Ausgabeankern, um Ergebnisse anzuzeigen.
E-Anker: Eine Tabelle mit Fehlerkennzahlen
P-Anker: Vergleich der Ist-Werte mit den verschiedenen vorhergesagten Werten
R-Anker: Ein Bericht, der die Fehlerkennzahlen und einen Satz von Diagnosediagrammen enthält