1. 列を右クリックし、コンテキストメニューから[異常検出]を選択します。
メモ:異常検出の変換では、テキスト、リスト、マップ、真偽値、URL、メールを除くすべてのデータ型に対応しています。
2. 外れ値の検出に使用するモデルを選択します。利用可能なモデルは、統計モデル(IQR、Zスコア、パーセンタイル)とカスタム範囲の2つのカテゴリーに分類されています。
統計モデル
IQR - 四分位範囲(IQR)は、データセットの中央50%が含まれる範囲を表す統計的散布度の指標です。外れ値はこの範囲に基づいて算出されます。
詳細はこちら
Zスコア- Zスコアは、データポイントがデータセットの平均から標準偏差の単位でどれだけ離れているかを示します。初期設定では、Zスコアが3標準偏差を超えるデータポイントは外れ値としてマークされます。
詳細はこちら
パーセンタイル- パーセンタイルは、データセット内における特定の値の相対的な位置を表す統計指標です。パーセンタイルはデータを100個の等しい部分に分割し、各パーセンタイルの値は、指定した値以下の値の割合を示します。外れ値はパーセンタイル値に基づいて判定されます。
詳細はこちら
カスタム範囲
この方式では、上限と下限にデータ内の任意の値を指定します。外れ値はしきい値に基づいて算出されます。
詳細はこちら
情報:範囲フィールドでは、数値の最大精度38、小数点以下桁数15まで対応しています。この上限を超える値は自動的にnullに設定されます
3. 必要な情報を入力し、外れ値を検出するために[適用]をクリックします。
IQRモデルを選択した場合
IQRとは
四分位範囲(IQR)は、データセットの中央50%が含まれる範囲を表す統計的散布度の指標です。外れ値はこの範囲に基づいて算出されます。
IQRは、第3四分位数(Q3)と第1四分位数(Q1)の差として計算されます。初期設定のスケール値1.5にIQRを掛けて、上限と下限の境界(しきい値)を決定します。しきい値は、データの分布に基づいて調整できます。
歪んだ分布のデータには、調整済みIQR方式が適用されます。
1. [しきい値]で、下限と上限の値を入力します。しきい値は、その値を超えると外れ値と見なされる境界を定義します。これらの境界を決定するために、スケール値にIQRを掛けます。
メモ:許容範囲は0~2です
2. 歪んだデータに調整済みIQR方式を自動的に適用するには、[データに歪みがある場合は調整済みIQR方式を適用]チェックボックスを選択します。このチェックボックスは初期設定で選択されています。歪みに関係なく標準のIQR方式を適用する場合は、選択を解除します。
3. 異常のあるデータに新しい列でフラグを付ける場合は、[異常にフラグを付ける]チェックボックスを選択します。異常のあるデータでは、異常フラグ列がマークされます。異常のないデータでは、この列は空のままになります。実行する操作を決定する前に、この列を使用して異常データを確認または抽出できます。
4. [適用]をクリックします。
Zスコアモデルを選択した場合
Zスコアモデルとは
Zスコアは、データポイントがデータセットの平均から標準偏差の単位でどれだけ離れているかを示します。初期設定では、Zスコアが3標準偏差を超えるデータポイントは外れ値としてマークされます。
外れ値を検出するしきい値として、±3のZスコアがよく設定されます。これは、平均から左右いずれかの方向に3標準偏差を超えて離れたデータポイントが外れ値と見なされることを意味します。しきい値は、データの分布に基づいて調整できます。
歪んだ分布のデータには、修正Zスコア方式が適用されます。Zスコアは、中央値絶対偏差方式に基づいて計算されます。
1. [標準偏差の数]で、下限と上限を入力します。初期値は-3と+3です。これらの制限の範囲外にあるデータポイントは外れ値としてマークされます。
2. 歪んだデータに修正Zスコア方式を自動的に適用するには、[データに歪みがある場合は修正Zスコア方式を適用]チェックボックスを選択します。修正Zスコアは、中央値絶対偏差(MAD)に定数値0.675を掛けて計算されます。歪みを無視する場合は、このオプションの選択を解除します。
3. 異常のあるデータに新しい列でフラグを付ける場合は、[異常にフラグを付ける]チェックボックスを選択します。異常のあるデータでは、異常フラグ列がマークされます。異常のないデータでは、この列は空のままになります。実行する操作を決定する前に、この列を使用して異常データを確認または抽出できます。
4. [適用]をクリックします。
パーセンタイルモデルを選択した場合
パーセンタイルモデルとは
パーセンタイルは、データセット内における特定の値の相対的な位置を表す統計指標です。パーセンタイルはデータを100個の等しい部分に分割し、各パーセンタイルの値は、指定した値以下の値の割合を示します。外れ値はパーセンタイル値に基づいて判定されます。
下限と上限の初期値には、それぞれ第10パーセンタイルと第90パーセンタイルが設定されています。
1. 下限と上限のパーセンタイル制限を入力します。下限を下回る値と上限を上回る値は、外れ値として扱われます。たとえば、下限を10にすると第10パーセンタイル未満の値にフラグが付き、上限を90にすると第90パーセンタイルを超える値にフラグが付きます。
メモ:指定できる値の範囲は1~99です。パーセンタイルには小数値を指定できません。
2. 異常のあるデータに新しい列でフラグを付ける場合は、[異常にフラグを付ける]チェックボックスを選択します。異常のあるデータでは、異常フラグ列がマークされます。異常のないデータでは、この列は空のままになります。実行する操作を決定する前に、この列を使用して異常データを確認または抽出できます。
カスタム範囲オプションを選択した場合
この方式では、上限と下限にデータ内の任意の値を指定します。外れ値はしきい値に基づいて算出されます。
情報:範囲フィールドでは、数値の最大精度38、小数点以下桁数15まで対応しています。この上限を超える値は自動的にnullに設定されます
1. カスタム範囲の下限値と上限値を入力します。
メモ:下限と上限には絶対値を入力し、下限に指定する値が上限に指定する値より小さくなるようにしてください。
情報:日付列の場合、ルールに表示される下限値と上限値は、入力した日付形式ではなくUnixタイムスタンプ値として表示されます。
2. 必要な入力を行い、[適用]をクリックします。
3. 異常のあるデータに新しい列でフラグを付ける場合は、[異常にフラグを付ける]チェックボックスを選択します。異常のあるデータでは、異常フラグ列がマークされます。異常のないデータでは、この列は空のままになります。実行する操作を決定する前に、この列を使用して異常データを確認または抽出できます。