異常検知

異常検知

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。



異常検出とは

異常検出(外れ値検出)とは、データセット内で想定されるパターンや挙動から大きく外れたデータやデータポイントを特定するプロセスです。異常を検出することで、潜在的なデータ品質の問題、通常とは異なるビジネス傾向、運用上のリスク、パフォーマンスの予期しない急増や急減を把握できます。

Zoho DataPrepでは、IQR(四分位範囲)、Zスコア、パーセンタイルベースの方式などの統計手法を使用して、データ内の通常とは異なる値を特定する異常検出機能を利用できます。これらの方式は、データセットの性質や分布に応じて適用でき、後続の処理や分析の前に、データのクリーンアップ、監視、分析をより効果的に行うのに役立ちます。

異常検出を適用するには

1. 列を右クリックし、コンテキストメニューから[異常検出]を選択します。



Notes
メモ:異常検出の変換では、テキスト、リスト、マップ、真偽値、URL、メールを除くすべてのデータ型に対応しています。

2. 外れ値の検出に使用するモデルを選択します。利用可能なモデルは、統計モデル(IQR、Zスコア、パーセンタイル)とカスタム範囲の2つのカテゴリーに分類されています。



統計モデル
     
       IQR - 四分位範囲(IQR)は、データセットの中央50%が含まれる範囲を表す統計的散布度の指標です。外れ値はこの範囲に基づいて算出されます。詳細はこちら

      Zスコア- Zスコアは、データポイントがデータセットの平均から標準偏差の単位でどれだけ離れているかを示します。初期設定では、Zスコアが3標準偏差を超えるデータポイントは外れ値としてマークされます。詳細はこちら

      パーセンタイル- パーセンタイルは、データセット内における特定の値の相対的な位置を表す統計指標です。パーセンタイルはデータを100個の等しい部分に分割し、各パーセンタイルの値は、指定した値以下の値の割合を示します。外れ値はパーセンタイル値に基づいて判定されます。詳細はこちら

カスタム範囲 

この方式では、上限と下限にデータ内の任意の値を指定します。外れ値はしきい値に基づいて算出されます。詳細はこちら

Info
情報:範囲フィールドでは、数値の最大精度38、小数点以下桁数15まで対応しています。この上限を超える値は自動的にnullに設定されます

3. 必要な情報を入力し、外れ値を検出するために[適用]をクリックします。

IQRモデルを選択した場合

IQRとは

四分位範囲(IQR)は、データセットの中央50%が含まれる範囲を表す統計的散布度の指標です。外れ値はこの範囲に基づいて算出されます。

IQRは、第3四分位数(Q3)と第1四分位数(Q1)の差として計算されます。初期設定のスケール値1.5にIQRを掛けて、上限と下限の境界(しきい値)を決定します。しきい値は、データの分布に基づいて調整できます。

歪んだ分布のデータには、調整済みIQR方式が適用されます。

1. [しきい値]で、下限と上限の値を入力します。しきい値は、その値を超えると外れ値と見なされる境界を定義します。これらの境界を決定するために、スケール値にIQRを掛けます。

メモ:許容範囲は0~2です



2. 歪んだデータに調整済みIQR方式を自動的に適用するには、[データに歪みがある場合は調整済みIQR方式を適用]チェックボックスを選択します。このチェックボックスは初期設定で選択されています。歪みに関係なく標準のIQR方式を適用する場合は、選択を解除します。

3. 異常のあるデータに新しい列でフラグを付ける場合は、[異常にフラグを付ける]チェックボックスを選択します。異常のあるデータでは、異常フラグ列がマークされます。異常のないデータでは、この列は空のままになります。実行する操作を決定する前に、この列を使用して異常データを確認または抽出できます。

4. [適用]をクリックします。

Zスコアモデルを選択した場合

Zスコアモデルとは

Zスコアは、データポイントがデータセットの平均から標準偏差の単位でどれだけ離れているかを示します。初期設定では、Zスコアが3標準偏差を超えるデータポイントは外れ値としてマークされます。

外れ値を検出するしきい値として、±3のZスコアがよく設定されます。これは、平均から左右いずれかの方向に3標準偏差を超えて離れたデータポイントが外れ値と見なされることを意味します。しきい値は、データの分布に基づいて調整できます。

歪んだ分布のデータには、修正Zスコア方式が適用されます。Zスコアは、中央値絶対偏差方式に基づいて計算されます。

1. [標準偏差の数]で、下限と上限を入力します。初期値は-3と+3です。これらの制限の範囲外にあるデータポイントは外れ値としてマークされます。



2. 歪んだデータに修正Zスコア方式を自動的に適用するには、[データに歪みがある場合は修正Zスコア方式を適用]チェックボックスを選択します。修正Zスコアは、中央値絶対偏差(MAD)に定数値0.675を掛けて計算されます。歪みを無視する場合は、このオプションの選択を解除します。

3. 異常のあるデータに新しい列でフラグを付ける場合は、[異常にフラグを付ける]チェックボックスを選択します。異常のあるデータでは、異常フラグ列がマークされます。異常のないデータでは、この列は空のままになります。実行する操作を決定する前に、この列を使用して異常データを確認または抽出できます。

4. [適用]をクリックします。

パーセンタイルモデルを選択した場合

パーセンタイルモデルとは

パーセンタイルは、データセット内における特定の値の相対的な位置を表す統計指標です。パーセンタイルはデータを100個の等しい部分に分割し、各パーセンタイルの値は、指定した値以下の値の割合を示します。外れ値はパーセンタイル値に基づいて判定されます。

下限と上限の初期値には、それぞれ第10パーセンタイルと第90パーセンタイルが設定されています。

1. 下限と上限のパーセンタイル制限を入力します。下限を下回る値と上限を上回る値は、外れ値として扱われます。たとえば、下限を10にすると第10パーセンタイル未満の値にフラグが付き、上限を90にすると第90パーセンタイルを超える値にフラグが付きます。

メモ:指定できる値の範囲は1~99です。パーセンタイルには小数値を指定できません。



2. 異常のあるデータに新しい列でフラグを付ける場合は、[異常にフラグを付ける]チェックボックスを選択します。異常のあるデータでは、異常フラグ列がマークされます。異常のないデータでは、この列は空のままになります。実行する操作を決定する前に、この列を使用して異常データを確認または抽出できます。

3. [適用]をクリックします

カスタム範囲オプションを選択した場合

この方式では、上限と下限にデータ内の任意の値を指定します。外れ値はしきい値に基づいて算出されます。

Info
情報:範囲フィールドでは、数値の最大精度38、小数点以下桁数15まで対応しています。この上限を超える値は自動的にnullに設定されます

1. カスタム範囲の下限値と上限値を入力します。

メモ:下限と上限には絶対値を入力し、下限に指定する値が上限に指定する値より小さくなるようにしてください。

Info
情報:日付列の場合、ルールに表示される下限値と上限値は、入力した日付形式ではなくUnixタイムスタンプ値として表示されます。



2. 必要な入力を行い、[適用]をクリックします。

3. 異常のあるデータに新しい列でフラグを付ける場合は、[異常にフラグを付ける]チェックボックスを選択します。異常のあるデータでは、異常フラグ列がマークされます。異常のないデータでは、この列は空のままになります。実行する操作を決定する前に、この列を使用して異常データを確認または抽出できます。

フィルターを適用するには

この変換とともにフィルターを適用する場合は、フィルター機能を使用できます。

1. [フィルター]タブをクリックします。

2. アイコンをクリックし、フィルターセクションに必要な列を追加します。ドラッグ&ドロップでフィルターの順序を変更することもできます。




3. 追加した各列について、ドロップダウンから次のいずれかのオプションを選択できます。
  1. [実際の値]:このオプションでは、列の実際の値に基づいて行をフィルターできます。詳細については、こちらをクリックしてください。
  2. [データ品質]:このオプションでは、列内のデータ品質に基づいて行をフィルターできます。詳細については、こちらをクリックしてください。
  3. [パターン]:このオプションでは、選択した列のデータパターンに基づいて行をフィルターできます。詳細については、こちらをクリックしてください。
  4. [季節性]:このオプションでは、四半期、月、週などの季節性パラメーターに基づいて行をフィルターできます。詳細については、こちらをクリックしてください。
  5. [外れ値]:このオプションでは、選択した列のデータに含まれる外れ値に基づいて行をフィルターできます。詳細については、こちらをクリックしてください。
    Notes
    メモ:フィルターに追加した列のデータ型に基づいて、フィルターオプションが表示されます。

    4. フィルターセクションに複数のフィルターを追加すると、論理演算子のANDまたはORがフィルターの横に表示されます。クリックすると、論理演算子をANDとORの間で切り替えられます。
    1. 論理演算子を使用すると、条件を組み合わせ、優先順位のルールを決定するロジックを適用できます。最終的な式は、[条件式]ボックスに表示されます。[編集]をクリックすると、論理演算子と括弧を使用して既定の式を変更し、優先順位や、どの条件を先に評価するかの順序を指定できます。必要な変更を行ったら、[保存]をクリックします。
    1. たとえば、式「((1 OR 2) AND (3 OR 4))」では、最初に条件(1 OR 2)が実行され、次に条件(3 OR 4)が実行されます。最後にAND演算子が使用されているため、両方の条件が真の場合にフィルターが適用されます。
    5. 次のセクションでは、各フィルターで選択したフィルターオプションに基づいて、さらに絞り込んで特定の値を選択できます。



    たとえば、上のスクリーンショットでは、フィルターセクションのすべての列フィルターに対して、[データ品質]オプションが選択されています。この選択に基づいて、特定の値をフィルターするための追加オプションがすべての列(データ品質)セクションに表示されます。

    6. 最後のセクションで、選択した項目を含めるか除外するかを選択できます。

    7. 何らかの理由ですべてのフィルターを削除する場合は、[クリア]ボタンを使用できます。

    8. 変更を行うと、フィルター変換のライブプレビューが表示されます。

    9. フィルターとともに変換を適用するには、[適用]ボタンをクリックします。

    データを並べ替えるには

    [並べ替え]タブでは、任意の列を基準にデータを昇順または降順で並べ替えることができます。[並べ替え基準の列]ドロップダウンで列を選択し、並べ替え順を選択できます。

    この機能は変換と組み合わせてのみ使用でき、単独の機能としては使用できません。ただし、データの並べ替えのみを行う場合は、並べ替え変換を使用できます。



    関連項目