パイプラインセクショナルラン

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

パイプラインでデータ伝播が行われると、上流ステージでの変更が、作業中の現在のステージに読み込まれます。この処理はパイプラインの一部のみを実行するため、「セクション実行」と呼ばれます。

データ伝播とは？

データ伝播は、上流ステージで行われた変更を作業中の現在のステージに読み込むプロセスです。たとえば、親ステージで変更やルールの追加、編集などを行った場合、それらの変更内容が従属する子ステージに引き継がれます。

DataPrep では、データ伝播は設定タブで選択した好みに応じて手動または自動で処理されます。データ伝播の詳細はこちらをご覧ください。

メモ: 上流から変更が読み込まれる自動または手動のデータ伝播は、処理済み行数としてカウントされます。

パイプラインでセクション実行する方法

1. パイプラインを開き、パイプラインビルダー画面に移動します。パイプラインの作成方法はこちらをご参照ください。

2. データ追加オプションをクリックし、必要なデータソースからデータを取り込みます。50種類以上のデータソースの詳細はこちら。

データがインポートされると、パイプラインビルダーに自動で遷移し、データソースとそれに連携したステージが表示されます。

ステージは、データ処理やデータフロー変換を適用するためのノードです。インポートされた各データセットには初期設定でステージが作成されます。

3. ステージを右クリックして、データフロー変換を適用できます。

4. Prepare Dataを選択して、DataPrep Studioページを開き、その他のデータ変換を確認できます。パイプラインビルダーの各要素についてはこちらをクリックしてください。

セクションランをトリガーする

セクションランは、パイプライン内でデータ伝播が発生した際に自動で実行され、手動でのトリガーは不要です。以下の例で詳しく説明します。

例

5. 最初のステージに見込み客データがあります。ここで、第一四半期に作成された見込み客のみを表示し、レポートを作成したいと考えています。ただし、今後のためにすべてのデータも後で必要です。そのため、現在のステージから新たなステージを作成します。これにより、現在のステージのコピーが作成されます。行うには、ステージを右クリックし、ステージを追加オプションを選択してください。新しい子ステージが作成されます。子ステージで、フィルター変換を利用して必要なデータを絞り込めます。

6. 次に、親ステージの一部の見込み客の連絡先情報を更新し、同じ変更を子ステージにも反映させたい場合です。

7. 子ステージを開くと、設定タブで各種設定トグルを有効にしている場合、下記の画面が表示されます。上流からのデータ変更が自動的に伝播し始めます。

メモ: 設定タブで各種設定トグルを無効にしている場合は、下記のポップアップが表示され、データを手動で伝播したときにセクションランが実行されます。

8. これによりセクションランが開始され、パイプラインが実行されます。実行の詳細を表示するには、ジョブ履歴ページに移動し、セクションジョブを含めるトグルを有効にしてください。これでセクションランの一覧が表示されます。

ジョブの詳細を表示するには、クリックして特定のジョブを開き、開始時刻や終了時刻、ジョブの期間などをJobs概要ページで確認できます。Job概要では、パイプラインフロー内で実行されたジョブの履歴が表示されます。JobsおよびJob概要の詳細はこちら。また、Job概要ページで実行ステータスを確認することも可能です。DataPrepのジョブには「開始済み」「完了」「Failure」の3つのステータスがあります。

データをエクスポートするには、ステージを右クリックし、宛先を追加してパイプラインを実行します。DataPrepの実行タイプの詳細はこちら

概要タブでは、ジョブのステータスのほか、ジョブを開始したユーザー、使用ストレージ、処理済み合計行数、開始時間、終了時間、ジョブの期間などの詳細が表示されます。詳細はこちら。