5.1. 評価 #

5.1.1. 機能概要 #

目的変数の実測値（正解値）と、学習したモデルを用いた予測値をグラフ上に重ねて表示します。

予測値が実測値に追従できているかを確認し、業務適用できるかどうかの判断の参考とします。

5.1.2. 入力と出力 #

なし

5.1.3. 操作方法 #

5.1.3.1. 結線 #

評価対象のモデルと、データを結線してください。

5.1.3.2. 実行 #

• “実行” ボタンを押してください。
• 処理時間が 20 分を超えるとタイムアウトし、処理が強制終了されます。

5.1.3.3. グラフの確認 #

予測値（Predicted）と実測値（Observed）の全期間がグラフに表示されます。

• 俯瞰グラフエリアにカーソルを合わせると、カーソルが「＋」「⇔」に変化します。
• 「＋」カーソルのままドラッグすることで詳細グラフの表示データ範囲を新しく選択できます。
• 選択されたデータ範囲の上部で「⇔」をドラッグすることで表示データ範囲を並行移動できます。
• 選択されたデータ範囲の左右で「⇔」をドラッグすることで表示データ範囲を拡張できます。
• 詳細グラフ内でマウスホイールを操作することでも表示データ範囲を操作できます。

5.1.3.4. 評価指標の確認 #

実際にAIモデルを業務適用するにはグラフでの定性的な確認だけでなく、評価指標による定量的な判断が必要です。
判断に用いる評価指標の種類や目標値は課題や状況に応じて異なります。各指標の特徴を把握し、適切に選択してください。

またベースライン値を用いた評価指標（参考値）は、AIモデルの初期性能を判断するための値です。 この参考値を下回った場合、ユースケースによっては評価指標の特性やデータの状況（例：外れ値など）を精査することが推奨されます。 データの前処理やモデルの調整が必要な場合もあります。

※ベースライン値は予測時点における目的変数の値をそのまま予測値とした場合の値です。 予測時点で最も単純に得られる値であるため、AIモデルの予測値はこのベースライン値よりも実測値に近い値であることが期待される場合があります。

各評価指標の説明

指標	説明
RMSE（Root Mean Squared Error/二乗平均平方根誤差）	予測値と実測値の誤差を二乗し、それらの平均を取った後、平方根を求めることで算出される指標です。RMSEは、予測誤差の大きさを考慮し、外れ値の影響を強調する特徴があります。モデルの予測精度を評価する際によく用いられ、値が小さいほど予測精度が高いとされます。
CORR（Correlation Coefficient/ピアソンの相関係数）	予測値と実測値の間の直線的な関係の強さを示す指標で、-1から1の範囲の値を取ります。1に近い場合、正の相関が強く、予測値が増加すると実測値も増加することを示します。-1に近い場合、負の相関が強く、予測値が増加すると実測値は減少することを示します。0に近い場合、予測値と実測値の間にはほとんど相関がないことを示します。ピアソンの相関係数は、予測モデルの適合度を評価する際に参考にされることがあります。
MAE（Mean Absolute Error/平均絶対誤差）	予測値と実測値の絶対誤差の平均を表します。予測誤差の大きさを直感的に理解しやすい指標で、予測モデルの精度を評価する際に使用されます。
MAPE（Mean Absolute Percentage Error/平均絶対パーセント誤差）	予測値と実測値の絶対誤差を実測値で割り、その平均をパーセント表示したものです。予測誤差が実測値に対してどの程度の割合で発生しているかを示す指標で、予測モデルの相対的な精度を評価する際に用いられます。
R^2（Coefficient of Determination/決定係数）	予測モデルが実測値をどの程度説明できるかを示す指標で、0から1の範囲の値を取ります。1に近いほど予測モデルが実測値をよく説明していると言え、モデルの適合度を評価する際に使用されます。R^2は、予測値と実測値の相関関係の強さを示すピアソンの相関係数を二乗したものです。

5.1.3.5. 評価結果のダウンロード #

• “CSV” ボタンを押してください。
• 予測値、実測値、ベースライン値が CSV ファイルでダウンロードできます。