モデル比較ツール
モデル比較ツール
モデル比較ツールは、検証データセット (またはテストデータセット) に基づいて、1 つ以上の異なる予測モデルのパフォーマンスを比較します。レポート、基本エラー測定のテーブル、および各モデルの予測結果の表を生成します。このツールは、バイナリ分類モデル (ターゲット変数のレベルが「はい」と「いいえ」のように 2 つのみ)、多項分類モデル (ターゲット変数のレベルが「車」「バス」「列車」「飛行機」のように 3 つ以上)、回帰モデル (ターゲット変数が連続値) をすべてサポートしています。
分類問題でレポートに表示されるのは、各モデルにおける全体的な正解率、クラスごとの正解率、F1 スコア、混同行列などです。バイナリ分類モデルのレポートにはパフォーマンス診断プロットも表示され、たとえば一組のリフト曲線プロット、ゲインチャートプロット、適合率－再現率曲線プロット、および ROC 曲線プロットの形式で各モデルを比較できます。回帰モデルのレポートには、各モデルの予測における予測値と実測値の相関、二乗平均平方根誤差 (RMSE)、平均絶対誤差 (MAE)、平均誤差率 (MPE)、平均絶対誤差率 (MAPE) が含まれます。ターゲット変数の値のいずれかがゼロに等しい場合には、どちらの値も各観察の実際の値による区分を含むため、MPEおよびMAPE測定値は定義されないことに留意してください。このような場合、MAPEの代わりに荷重絶対パーセント誤差(絶対誤差の合計を実際の値の合計で割ったもの)が報告され、MPEは実際の値の合計に対するエラーの合計に取って代わられます。ターゲット値の合計がゼロになるような人為的な例を考え出すのは簡単ですが、これは実際には起こりそうにありません。各モデルの実際値対予測値のプロットも提供されています。
このツールは複数のモデルの比較をサポートしていますが、ユーザーは1つのモデルのみを使用して、複数のモデルの場合と同様のパフォーマンスレポートを取得することもできます。モデル比較で得られるレポートと予測ツール (たとえば勾配ブースティング) の R アンカーから出力されるレポートの相違点は、前者の場合には使用するテストデータセットがモデル構築のトレーニングデータセットと異なるため、モデルのアウトサンプルのパフォーマンス評価が作成される点です。
入力の接続
モデル比較ツールには、2 つの入力データストリームが必要です。
M アンカー: Alteryx 予測ツールの O 出力アンカーによって生成された異なるモデルの組み合わせ。複数のモデルを比較するには、複数のモデルオブジェクトを 1 つのデータストリームに結合します。
D アンカー: テストデータセット。通常、モデルの構築に使用したトレーニングデータセットとは異なります。
ツールの設定
ターゲット変数の正のクラス (バイナリ分類のみ。オプション): オプション。この値が空白の場合、クラス名をアルファベット順に並べたときの最後の値が「正のクラス」として使用されます。
ターゲット変数が「False」と「True」の値をとる場合、正のクラスは既定で「True」になります。これは、アルファベット順で並べた場合に「False」より「True」のほうが後になるためです。
設定オプションの制限
回帰問題では、ターゲット変数に連続数が含まれるため、クラスの概念は適用されません。多項式分類モデルの場合、レポートはモデルごとに完全な混同行列を提供するため、正のクラスを選択してもしなくても出力に影響は及びません。イナリ分類モデルの場合、正のクラスは分析に焦点を当てた結果でなければなりません。たとえば、ダイレクトマーケティングキャンペーンに反応する可能性が高い顧客を判断する際に応答値が「はい」と「いいえ」でコード化されている場合、焦点を当てるべき応答値は「はい」となり、この値をモデル比較における「正のクラス」として選択する必要があります。
出力の表示
各出力アンカーに閲覧ツールを接続して、結果を表示します。
E アンカー: エラー測定テーブル。
P アンカー: 実測値とさまざまな予測値。
R アンカー: エラー測定値と一組の診断プロットを含むレポート。