パイプラインは、DataPrepでユーザーがETLパイプラインやデータフローを作成できる基本的なエンティティです。複数のデータステージやさまざまなフローレベルの変換を使用できます。パイプラインは、ファイル(.zdpt)から保存済みのパイプラインテンプレートをインポートして作成することも可能です。これらのファイルは必要に応じて再利用できます。
パイプラインをインポートする方法を学ぶ前に、まずパイプラインテンプレートの保存とダウンロード方法を確認しましょう。
パイプラインを.zdptファイルとして保存・ダウンロードする方法
2. テンプレートとして保存オプションをクリックし、パイプラインを.zdptとしてダウンロードを選択します。パイプラインは.zdptファイルとしてダウンロードされます。
.zdptファイルからパイプラインをインポートする方法
1. ホームページ、Pipelineタブ、またはWorkspacesタブ(ワークスペース内)でパイプラインのインポートオプションを使用してパイプラインをインポートできます。このインポート手順は、ETLシステム内での全体的なデータ移動戦略の一部です。
2. インポート先として既存のワークスペースを選択するか、新規ワークスペースを作成します。
3. ダウンロードした.zdptファイルをアップロードし、完了するをクリックします。パイプラインが選択したワークスペースにインポートされます。
4. パイプライン内のデータソースおよびデータ転送先を認証します。
また、異なるデータ元や転送先を選択することも可能です。例えば、パイプラインテンプレートでデータ転送先としてGoogle Driveを使用していて、OneDriveに変更したい場合は、認証時にOneDriveを選択できます。
情報: インポートしたパイプラインテンプレートに新規データを取り込む場合、データモデル(またはスキーマ)を照合するために変更を加えたり、テンプレート内で利用可能な一部のルールを変更して適切なデータフローを設定する必要がある場合があります。これにより、ETLパイプラインがデータ移動中の変換を正しく処理し、データ統合が適切に行われます。
5. 作成中のパイプラインでの作業が完了し、データの準備ができたら、パイプラインの実行とデータのエクスポートを選択できます。エクスポートはデータ移動の最終手順であり、ETLプロセスの読み込み中フェーズにあたります。
関連情報
新規パイプラインの作成方法
テンプレートライブラリからパイプラインを作成する方法
手動実行について
スケジュール実行について
バックフィル実行についてはこちらをご参照ください