1. 列を右クリックし、操作メニューから[異常検出]を選択します。
メモ:異常検出の加工では、テキスト、リスト、マップ、真偽値、URL、メールアドレスを除く、すべてのデータの種類がサポートされています。
2. 異常値の検出に使用するモデルを選択します。使用可能なモデルは、統計モデル(IQR、Zスコア、パーセンタイル)と独自の範囲の2つのカテゴリーに分類されます。
統計モデル
IQR - 四分位範囲(IQR)は、データセットの中央50%が含まれる範囲を示す統計的なばらつきの指標です。この範囲に基づいて異常値が算出されます。
詳細はこちら
Zスコア- Zスコアは、データポイントがデータセットの平均値から標準偏差何個分離れているかを示します。標準では、Zスコアが標準偏差の3倍を超えるデータポイントが異常値として識別されます。
詳細はこちら
パーセンタイル- パーセンタイルは、データセット内の特定の値の相対的な位置を表す統計指標です。パーセンタイルではデータが100等分され、各パーセンタイルの値は、指定した値以下の値が占めるパーセント(%)を示します。異常値はパーセンタイル値に基づいて判定されます。
詳細はこちら
独自の範囲
このメソッドでは、データ内の任意の値を上限値と下限値に指定します。しきい値に基づいて異常値が算出されます。
詳細はこちら
情報:範囲の項目でサポートされる数値の最大精度は38、最大小数点以下桁数は15です。この上限を超える値は、自動的に空の値(null)に設定されます。
3. 必須の詳細を入力し、[適用]をクリックして異常値を検出します。
IQRモデルを選択した場合
IQRとは
四分位範囲(IQR)は、データセットの中央50%が含まれる範囲を示す統計的なばらつきの指標です。この範囲に基づいて異常値が算出されます。
IQRは、第3四分位数(Q3)と第1四分位数(Q1)の差として算出されます。標準のスケール値1.5をIQRに掛けて、上限と下限(しきい値)を決定します。しきい値は、データの分布に応じて調整できます。
分布に偏りがあるデータには、調整済みIQRメソッドが適用されます。
1. [しきい値]で、下限と上限の値を入力します。しきい値は、値を異常値と見なす境界を定義します。スケール値をIQRに掛けて、これらの境界を決定します。
メモ:入力可能な範囲は0~2です。
2. 偏りのあるデータに調整済みIQRメソッドを自動的に適用するには、[データに偏りがある場合、調整済みIQRメソッドを適用する]チェックボックスを選択します。このチェックボックスは標準で選択されています。偏りに関係なく標準IQRメソッドを適用する場合は、選択を解除します。
3. 異常のあるレコードに新しい列でフラグを付ける場合は、[異常をフラグ付け]チェックボックスを選択します。異常のあるレコードでは、[異常フラグ]列にフラグが表示されます。異常のないレコードでは、この列は空のままになります。この列を使用すると、実行する処理を決定する前に、異常なレコードを確認またはフィルターできます。
4. [適用]をクリックします。
Zスコアモデルを選択した場合
Zスコアモデルとは
Zスコアは、データポイントがデータセットの平均値から標準偏差何個分離れているかを示します。標準では、Zスコアが標準偏差の3倍を超えるデータポイントが異常値として識別されます。
異常値を検出するしきい値には、多くの場合、Zスコア±3が設定されます。これは、平均値から左右いずれかの方向に標準偏差の3倍を超えて離れたデータポイントを異常値と見なすことを意味します。しきい値は、データの分布に応じて調整できます。
分布に偏りがあるデータには、修正Zスコアメソッドが適用されます。Zスコアは、中央絶対偏差メソッドに基づいて算出されます。
1. [標準偏差の数]で、下限と上限を入力します。標準値は-3と+3です。これらの範囲を超えるデータポイントは、異常値として識別されます。
2. 偏りのあるデータに修正Zスコアメソッドを自動的に適用するには、[データに偏りがある場合、修正Zスコアメソッドを適用する]チェックボックスを選択します。修正Zスコアは、中央絶対偏差(MAD)に定数値0.675を掛けて算出されます。偏りを考慮しない場合は、このオプションの選択を解除します。
3. 異常のあるレコードに新しい列でフラグを付ける場合は、[異常をフラグ付け]チェックボックスを選択します。異常のあるレコードでは、[異常フラグ]列にフラグが表示されます。異常のないレコードでは、この列は空のままになります。この列を使用すると、実行する処理を決定する前に、異常なレコードを確認またはフィルターできます。
4. [適用]をクリックします。
パーセンタイルモデルを選択した場合
パーセンタイルモデルとは
パーセンタイルは、データセット内の特定の値の相対的な位置を表す統計指標です。パーセンタイルではデータが100等分され、各パーセンタイルの値は、指定した値以下の値が占めるパーセント(%)を示します。異常値はパーセンタイル値に基づいて判定されます。
下限と上限の標準値には、それぞれ10パーセンタイルと90パーセンタイルが設定されています。
1. パーセンタイルの下限と上限を入力します。下限を下回る値と上限を上回る値は、異常値として扱われます。たとえば、下限を10に設定すると10パーセンタイルを下回る値にフラグが付き、上限を90に設定すると90パーセンタイルを上回る値にフラグが付きます。
メモ:入力可能な値の範囲は1~99です。パーセンタイルには小数値を指定できません。
2. 異常のあるレコードに新しい列でフラグを付ける場合は、[異常をフラグ付け]チェックボックスを選択します。異常のあるレコードでは、[異常フラグ]列にフラグが表示されます。異常のないレコードでは、この列は空のままになります。この列を使用すると、実行する処理を決定する前に、異常なレコードを確認またはフィルターできます。
独自の範囲オプションを選択した場合
このメソッドでは、データ内の任意の値を上限値と下限値に指定します。しきい値に基づいて異常値が算出されます。
情報:範囲の項目でサポートされる数値の最大精度は38、最大小数点以下桁数は15です。この上限を超える値は、自動的に空の値(null)に設定されます。
1. 独自の範囲の下限値と上限値を入力します。
メモ:下限と上限には絶対値を入力し、下限に指定する値が上限に指定する値より小さくなるようにしてください。
情報:日付の列では、ルールに表示される下限値と上限値が、入力した日付形式ではなくUnixタイムスタンプ値で表示されます。
2. 必須の入力内容を指定し、[適用]をクリックします。
3. 異常のあるレコードに新しい列でフラグを付ける場合は、[異常をフラグ付け]チェックボックスを選択します。異常のあるレコードでは、[異常フラグ]列にフラグが表示されます。異常のないレコードでは、この列は空のままになります。この列を使用すると、実行する処理を決定する前に、異常なレコードを確認またはフィルターできます。