ジョブ管理

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

パイプラインの実行は「ジョブ」と呼ばれます。ジョブでは、パイプライン内で行われるインポート、変換、エクスポートなどの進行状況や各種統計情報を追跡します。

Jobsページに移動するには、画面上部のメニューからJobsタブをクリックします。

Jobsタブには、組織内のすべてのワークスペースで実行されたジョブの一覧が表示され、ジョブID、関連付けられているパイプライン、開始および実行時間、ステータス、実行ユーザー、使用ストレージ、処理済み行数などが確認できます。

ジョブ一覧を利用すると、失敗したパイプラインジョブを特定し、ジョブを再実行することができます。

フィルター:

フィルタードロップダウンを使用して、ジョブを以下の種類別に絞り込むことができます: 手動実行、データ更新ありの手動実行（更新済みデータでの手動実行）、スケジュール実行、バックフィル実行、セクション実行、Zoho Flow、Webhook、データの再読み込み。セクションジョブを表示するには、含める Sectional Jobs トグルを有効にします。

また、実行ユーザー、パイプライン、ワークスペース、ステータス、実行時間などのフィルター属性を使って、ジョブをさらにフィルターおよび検索することもできます。詳細はこちら。

また、テーブルヘッダー上部にある各ソートアイコンを使用して、パイプライン、開始時間、ステータス別にジョブをすばやく並べ替えることもできます。

DataPrep のパイプラインやその他のエンティティについて詳しくは、こちらをクリックしてください。

ジョブ概要

Jobs ページで任意のジョブをクリックすると、ジョブ概要に移動します。ジョブ概要ページには、パイプライン名、ジョブステータス、実行時間、実行ユーザー、使用ストレージ、処理済み行数の合計、データ間隔、ジョブの開始時刻と終了時刻など、そのジョブの主要な実行詳細が表示されます。

メモ: パイプラインビルダーページからジョブ履歴オプションを選択して、ジョブ概要ページに移動することもできます。

これにより、特定のジョブに関する詳細なインサイトが得られ、パイプラインが開始から完了までどのように動作したかを、全体のステータス、各ステージの結果、エクスポート結果などとあわせて確認できます。これを利用して、問題のトラブルシューティング、パフォーマンスの分析、出力品質の検証を行うことができます。

ジョブが失敗した場合やパイプラインに変更が必要な場合は、[編集] をクリックしてパイプラインを修正できます。パイプラインで実行されたすべてのジョブを表示するには、ジョブ履歴オプションをクリックします。

また、ジョブ概要では、ジョブの詳細が次の 3 つのタブで表示されます: Pipeline flow、Stages、Output です。

Pipeline flow

Pipeline flowタブでは、選択したジョブに対してパイプラインがどのように実行されたかを視覚的に確認できます。これにより、パイプライン内を通過するデータのエンドツーエンドの流れを把握し、各手順が正常に完了したかどうかをすばやく確認できます。

このタブには、インポート元データソースから、適用された変換処理、最終的なエクスポート先まで、パイプラインステージの実行順序が表示されます。各ステージには実行ステータスが表示され、完了、失敗、スキップされたステップを簡単に特定できます。また、すべての出力をダウンロードオプションを使用して、すべての出力を ZIP ファイルとして一括ダウンロードすることもできます。

Pipeline flow 内の任意のステージをクリックすると、そのステージに適用されたルールを表示できます。

Stages

ジョブ概要ページの Stages セクションでは、パイプライン内の各ステージでジョブがどのように実行されたかを包括的に確認できます。実行内容はインポート、Transform、エクスポートに分けて表示され、それぞれのステージについて概要と詳細の両方を確認できます。ここでは、インポート、適用された変換処理、エクスポートごとに、ステータス、処理済み行数、使用ストレージ、開始時刻、終了時刻などの詳細が表示されます。

インポート

インポートステージでは、ジョブに関与するすべてのデータソースの詳細が表示されます。インポート全体のステータスに加え、成功したインポートと失敗したインポートの件数が表示されます。各データソースごとに、インポートステータス、インポートされたファイル数、インポートされた行数、使用ストレージ、インポート完了までにかかった時間などの情報を確認できます。

情報アイコンをクリックすると、データソースの詳細を表示できます。ここでは、入力データのデータソースに関する必要な詳細（データソースの種類、パース方法など）を確認できます。

インポート設定を表示オプションでは、データソースのインポート設定の概要を確認できます。

Transform

Transformsセクションでは、ジョブ実行時に行われたすべての変換処理の概要を表示します。変換の概要に加え、データ品質インジケーター、処理済み行数、ストレージ使用量、処理時間などの詳細を確認できます。このセクションを利用すると、変換処理の進行状況を素早く把握し、対応が必要な失敗ステップを特定できます。

情報アイコンをクリックすると、データに適用されたすべてのルールを表示できます。また、プレビューアイコンを使用して各ステージでの出力を素早く確認したり、必要に応じて任意のステージからデータをダウンロードしたりできます。

エクスポート

エクスポートステージでは、ジョブによって作成された最終出力の詳細を確認できます。すべてのエクスポート先が、実行ステータス、データ品質インジケーター、エクスポート済み行数、消費ストレージ、各エクスポートに要した時間とともに一覧表示されます。このステージを利用すると、処理済みデータが意図した宛先に正常に配信されたことを確認できます。

情報アイコンをクリックしてエクスポート先の詳細を表示します。また、プレビューアイコンを使用して各ステージでの出力を素早く確認したり、必要に応じて任意のステージからデータをダウンロードしたりできます。

ステージステータス

ジョブ実行中に表示されるステータスのスナップショットは次のとおりです。

完了 - ステージがエラーなく実行された場合に表示されるステータスです。

Not run - 手動実行（既存データ）や一部のみの実行、またはそのステージが上流の依存ノードでない場合など、一部のインポートやステージが実行されないことがあります。たとえば、一部のみの実行では、上流での変更は下流に読み込まれますが、新しいインポートは行われません。その結果、インポートステージは実行されません。

メモ: これらのステージからの行数は、処理済み行数の計算には含まれません。

Cached - データが以前の実行ですでに処理済みである場合や、そのステージが今回の実行における上流の依存ノードでない場合、一部のステージはキャッシュされます。たとえば、A と B という 2 つの独立したステージを持つパイプラインを考えます。A にのみ変換を適用してパイプラインを実行した場合、B は更新されることなく既存データを引き続き使用します。この場合、B はキャッシュされます。

メモ: キャッシュされたステージからの行数は、処理済み行数の計算には含まれません。

Queued - パイプライン実行中に、次の処理ステージのバッチがキューに追加されます。

Failure - エラーのあるステージが失敗した場合に表示されるステータスです。

Output

Outputタブでは、ジョブのすべての出力と追加された宛先、データ品質、出力ステージ、エクスポート済み行数、使用ストレージ、エクスポートに要した時間の一覧を表示できます。

各出力の情報アイコンをクリックすると、出力の詳細を表示できます。また、出力データをプレビューしたり、出力ファイルをダウンロードしたりできます。

FAQs

1. データ内の無効な値など、データセットの品質の問題が原因でエクスポートが失敗した場合は、どうすればよいですか？

エクスポートが次のようなエラーで失敗した場合は、データ内の無効な値を修正する必要があります。

1. データセット品質スコアが設定された最小品質スコアを下回っているため、エクスポートが中止されました。

2. データセット内に、エクスポート先で許可されていない無効なデータが含まれているため、エクスポートに失敗しました。

データ内の無効な値を特定するには、次の手順に従います。

1. Job 概要 ->Outputタブに移動します。

2. Data 品質アイコンをクリックして、無効な列を表示します。

3. 無効な列を特定したら、Job 概要ページでパイプラインを編集オプションをクリックし、Studioページに移動します。適切な変換を使用して無効な値を修正し、その後パイプラインを再実行します。

4. 場合によっては、サンプルには無効な値が含まれていなくても、全データには無効な値が含まれていることがあります。この場合は、最後のデータ準備ステージに移動し、右側のペインでSample Strategyの横にある編集アイコンをクリックし、Errorneous sampleを選択して適用をクリックします。

これにより、サンプルデータ内の無効な値が表面化します。これらの無効な値を修正し、ジョブをもう一度実行してください。

2. ジョブの失敗を防ぐために、パイプラインを実行する前に入力ファイルが存在しないことを検証できますか？

Zoho DataPrep 2.0 では、増分取得時に、入力ファイルの有無にかかわらずパイプラインジョブが開始されます。ファイルが存在しない場合、ジョブはインポートステージで失敗します。DataPrep はこのような状況を自動的に処理するため、事前に手動で検証する必要はありません。これらの失敗はジョブ概要で確認できます。

3. ダウンロードした出力ファイルのサイズが、Stagesタブに表示されるサイズより大きいのはなぜですか？

Zoho DataPrep では、ストレージ使用量を最適化するために、ファイルを圧縮形式で保存しています。このため、DataPrep 内に表示されるファイルサイズは小さくなります。出力データをダウンロードすると、ファイルは展開されるため、サイズが大きくなります。たとえば、DataPrep 上で 1 GB のストレージを使用しているファイルでも、出力としてダウンロードすると、より大きな容量を占有する場合があります。