クロスバリデーションツール
クロスバリデーションツール
クロスバリデーションツールは、Alteryx で生成された 1 つ以上の予測モデルのパフォーマンスを、クロスバリデーション のプロセスを使用して比較します。すべての分類と回帰モデルをサポートしています。
このツールはRツールを使用します。オプション > 予測ツールをダウンロード の順に進み、Alteryx Downloads and Licenses ポータルにサインインして、R と R ツール で使用されるパッケージをインストールします。
重要
このツールは、Alteryx Designer または R ツールでは自動的にインストールされません。このツールを使用するには、Alteryx コミュニティからダウンロードします。
別のテストセットを使用する必要がなく、モデル品質のより強固な推定を生成するため、予測モデラーの間ではクロスバリデーションは他のモデル評価メソッドよりもよく好んで用いられます。
すべての分類モデルに対して、ツールは全体的な精度、クラスごとの精度、混同行列のセット（各モデルに1つ）を提供します。さらに、このツールは、バイナリ分類モデルのF1スコアとパフォーマンス診断プロット（リフトカーブ、ゲインチャート、精度対リコールカーブ、ROCカーブ）のコレクションを報告します。回帰モデルの場合、ツールは一般的に予測値と実際値の間の相関、二乗平均平方根誤差（RMSE）、平均絶対誤差（MAE）、平均パーセンテージ誤差（MPE）、および各モデルの予測の平均絶対誤差（MAPE）を提供します。しかし、少なくとも1つの目標値が0に近い場合、MPEとMAPEは定義されません。その場合、MPEは実際の値の合計に対する誤差の合計で置き換えられ、絶対誤差の合計を実際の値の合計で除算した値 (つまり、加重絶対パーセント誤差 【WAPE】)がMAPEに置き換わります。さらに、このツールは、回帰の場合に実際の値と予測値のプロットを常に提供します。
入力の接続
クロスバリデーションツールには、次の 2 つの入力が必要です。
M アンカー: Alteryx で生成された単一の予測モデル、または 2 つ以上のモデルの組み合わせ。これらのモデルは、すべて同じデータセットを使用して生成されている必要があります。
D アンカー: 上記のモデルの生成に使用したデータセット。
ツールの設定
Number of trials (試行回数) : クロスバリデーションを繰り返す回数を入力します。試行回数を少なくすると、ツールのスピードが上がります。回数を多くすると、その分モデルの品質の予測が正確になります。
Number of folds (フォールド数) : データを分割するサブセットの数を入力します。フォールド数についても、試行回数 と同様のトレードオフが存在します。
Type of model (モデルのタイプ) を選択します。
Classification (分類) : これらのモデルは、はい/いいえのようなカテゴリを予測します。
Regression (回帰) : これらのモデルは、売上合計のような数量を予測します。
階層化 (Stratified) されたクロスバリデーションを使用する必要がある場合: 階層化されたクロスバリデーションは特別なタイプのクロスバリデーションで、大きなデータセットと同じ確率分布のフォールドを作成します。例えば、ターゲット値の80％が「いいえ」で、20％が「はい」のデータセットでは、各フォールドで約80％が「いいえ」、約20％が「はい」という結果になります。ターゲット変数が不均衡な場合は、階層化されたクロスバリデーションがしばしば推奨されます。
Name of the positive class (正のクラス名) : (オプション) この設定オプションは、バイナリ (2クラス) 分類にのみ関連します。F1 スコアをはじめ、バイナリ分類で報告される測定値の中には、正のクラス (たとえば「はい」) と負のクラス (たとえば「いいえ」) の区別が必要なものがあります。ただし、この設定オプションは必須ではありません。バイナリ分類モデルでツールを使用するときに空白のままにすると、ツールはクラスの1つを正のクラスとして選択します。
Value of seed (シードの値) : 再現可能な結果を作成するために、乱数ジェネレータが使用するシードを選択して、どのレコードをどのフォールドにソートするかを指定することができます。シードを変更すると、フォールドの組成が変更されます。
出力の表示
D アンカー: この出力は、実測値と予測値を提供します。
F アンカー: この出力は、モデルのタイプに応じてさまざまなモデル適合指標を報告します。
R アンカー: 試行ごとの平均適合度指標を含むサマリーレポートと、モデルごとに 1 つの曲線が表示されるグラフを表示します。