Kreuzvalidierung-Tool
Kreuzvalidierung-Tool
Mit dem Kreuzvalidierung-Tool können Sie einen Leistungsvergleich eines oder mehrerer von Alteryx erstellter Prognosemodelle durch das Verfahren der Kreuzvalidierung durchführen. Es unterstützt alle Klassifizierungs- und Regressionsmodelle.
Dieses Tool verwendet das R-Tool. Gehen Sie zu „Optionen“ „Prognose-Tools herunterladen“ und melden Sie sich beim Alteryx Downloads and Licenses-Portal an, um R und die vom R-Tool verwendeten Pakete zu installieren.
Wichtig
Dieses Tool wird nicht automatisch mit Alteryx Designer oder den R-Tools installiert. Wenn Sie dieses Tool verwenden möchten, können Sie es von der Alteryx Community herunterladen.
Die Kreuzvalidierung wird von Entwicklern prädiktiver Modelle häufig gegenüber anderer Modellbewertungsmethoden bevorzugt, da sie keinen separaten Testsatz erfordert und robustere Schätzungen der Modellqualität erzeugt.
Das Tool liefert für alle Klassifizierungsmodelle die Gesamtgenauigkeit, die Genauigkeit nach Klassen und eine Reihe von Konfusionsmatrizen (eine für jedes Modell). Darüber hinaus meldet das Tool die F1-Score und gibt eine Reihe von Diagrammen zur Leistungsdiagnose (Lift-Kurve, Gains-Chart, Genauigkeit-Recall-Kurve und ROC-Kurve) für binäre Klassifizierungsmodelle aus. Für Regressionsmodelle liefert das Tool in der Regel die Korrelation zwischen prognostizierten und tatsächlichen Werten, die Quadratwurzel der mittleren quadratischen Prognosefehler (RMSE), den mittleren absoluten Prognosefehler (MAE), den mittleren prozentualen Prognosefehler (MPE) und den mittleren absoluten prozentualen Prognosefehler (MAPE) für die Prognosen aller Modelle. Wenn jedoch mindestens ein Zielwert nahe 0 liegt, bleiben der MPE und MAPE undefiniert. In diesem Fall wird der MPE ersetzt mit der Summe der Fehler geteilt durch die Summe der tatsächlichen Werte. Der MAPE wird ersetzt durch die Summe der absoluten Fehler geteilt durch die Summe der tatsächlichen Werte (d.h. der gewichtete absolute prozentuale Fehler). Darüber hinaus bietet das Tool bei der Regression immer eine Darstellung der tatsächlichen gegenüber den prognostizierten Werten.
Eingaben verbinden
Das Kreuzvalidierung-Tool verfügt über zwei Eingaben:
M-Anker: Entweder ein einzelnes, von Alteryx generiertes Prognosemodell oder die Zusammenführung von zwei oder mehr solcher Modelle. Diese Modelle müssen alle mit demselben Dataset erstellt werden.
D-Anker: Das Dataset, das zum Generieren der obigen Modelle verwendet wurde.
Tool-Konfiguration
Number of trials (Anzahl Testdurchläufe): Geben Sie an, wie oft das Kreuzvalidierungsverfahren wiederholt werden soll. Eine kleinere Anzahl von Testdurchläufen macht das Tool schneller. Eine größere Anzahl liefert jedoch eine robustere Schätzung der Qualität Ihrer Modelle.
Number of folds (Anzahl Folds): Geben Sie an, in wie viele Teilmengen die Daten unterteilt werden. Im Hinblick auf die Leistung gilt für die Anzahl der Folds (Faltungen) dasselbe wie für die Number of trials.
Wählen Sie den Modelltyp, bzw. die Type of model-Option aus.
Classification (Klassifizierung): Diese Modelle prognostizieren Kategorien wie „ja/nein“.
Regression: Diese Modelle prognostizieren numerische Einheiten wie Verkaufssummen.
Sollte die stratifizierte Kreuzvalidierung verwendet werden?: Die stratifizierte Kreuzvalidierung ist ein spezieller Typ der Kreuzvalidierung, die Folds (Faltungen) mit der gleichen Wahrscheinlichkeitsverteilung wie das größere Dataset erzeugt. Wenn z. B. in einem Dataset 80 % der Zielwerte „Nein“ und 20 % „Ja“ sind, besitzt jeder Fold in etwa 80 % Nein-Antworten und 20 % Ja-Antworten. Die stratifizierte Kreuzvalidierung wird häufig empfohlen, wenn die Zielvariable unausgeglichen ist.
Name of the positive class (Name der positiven Klasse): (Optional) Diese Konfigurationsoption ist nur bei der binären Klassifizierung (zwei Klassen) relevant. Bei einigen der für die binäre Klassifizierung angegebenen Maße, wie die F1-Score, ist eine Unterscheidung zwischen einer positiven Klasse (z. B. „Ja“) und einer negativen Klasse (z. B. „Nein“) erforderlich. Diese Konfigurationsoption ist jedoch nicht erforderlich. Wenn Sie dieses Feld bei der Verwendung des Tools mit binären Klassifikationsmodellen leer lassen, wählt das Tool eine der Klassen als die positive aus.
Value of seed (Startwert): Um reproduzierbare Ergebnisse zu erzielen, können Sie den Startwert auswählen, der vom Zufallszahlengenerator verwendet wird und bestimmt, welche Datensätze in welche Folds sortiert werden. Eine Änderung des Startwerts wirkt sich das auf die Anordnung der Folds aus.
Ausgabe anzeigen
D-Anker: Diese Ausgabe enthält sowohl die tatsächlichen Datenwerte als auch deren Prognosen.
F-Anker: Diese Ausgabe gibt je nach Modelltyp verschiedene Modellanpassungsmaße an.
R-Anker: Ein Zusammenfassungsbericht, der die durchschnittlichen Anpassungsmaße für jeden Versuch enthält, sowie Diagramme, in denen eine einzelne Kurve für jedes Modell dargestellt wird.