テンプレートライブラリからパイプラインを作成する
パイプラインは、DataPrepでユーザーが複数のデータステージやさまざまなフローレベルのトランスフォームを利用してETLパイプラインやデータフローを作成できる基本的なエンティティです。テンプレートライブラリには、あらかじめ定義されたテンプレートや、保存されたすべてのパイプラインテンプレートが含まれています。新規パイプラインを作成することができますゼロから 、またはテンプレートライブラリ内の事前定義済みテンプレートや保存済みテンプレートを利用して作成できます。テンプレートからパイプラインを作成するオプションは、以下の複数の場所で利用可能です。
-
ホームページ
-
Pipelinesページ
-
Workspacesページ
ホームページでテンプレートライブラリを使用してパイプラインを作成する方法
1. ホームページから新規パイプラインを作成できます。「新しく作成する」ドロップダウンアイコンをクリックし、テンプレートライブラリから作成を選択します。
事前定義済みテンプレートを使ってパイプラインを作成する方法
b. テンプレートの中から1つを選択すると、そのテンプレートの詳細（説明など）が表示されます。ここから、使用する テンプレートをクリックできます。
c. このパイプラインを既存のワークスペースまたは新規ワークスペースで作成することができます。また、Load テンプレート with sample dataを選択してサンプルデータ付きでテンプレートを読み込み、ルールや変換内容を確認することも可能です。「次」をクリックしてください。
d. 選択したワークスペースにテンプレートを使ってパイプラインが作成されます。Pipeline builderが開き、表示されます。
保存済みテンプレートを使ってパイプラインを作成する方法
b. 保存済みのパイプラインテンプレートが一覧表示されます。必要なテンプレートをクリックします。
d. 選択したworkspaceにテンプレート付きでパイプラインが作成されます。パイプラインビルダーが表示されます。
2. パイプライン内のデータ元およびデータ転送先を認証します。
できることは、別のデータ元や転送先を選択することも可能です。例えば、テンプレートでFilesがデータ元になっていて、データ元をOneDriveに変更したい場合は、認証時にOneDriveを選択できます。ただし、新しく取り込むデータのスキーマが、パイプラインテンプレートで申請済みのルールと一致していることをご確認ください。
もし、異なるデータ元を接続した後でデータモデルが不一致となった場合は、ルールセットに入り、ルールを調整することで修正できます。
メモ: できることはパイプラインビルダーの上部にあるインポートする data データのインポートが完了すると、パイプラインビルダーにリダイレクトされ、データデータ元およびそれにリンクされたステージを確認できます。
ステージは、データフローの変換を適用しながらデータを処理するために作成されたノードです。データ元からインポートされたデータには、初期設定のステージが作成されます。
4. ステージを右クリックし、データフローの変換を適用できます。
5. また、「Prepare Data」を選択して、DataPrep Studioページを開き、その他のデータ変換を試すこともできます。こちらをクリックすると、パイプラインビルダーのさまざまな要素について確認できます。
データフローの作成と、各ステージで必要な変換の適用が完了したら、ステージを右クリックして宛先を追加し、データフローを完了できます。
101:: 6102:: . 103:: データデスティネーションは、データをエクスポートする先となる場所です。たとえば、104:: クラウドデータベースや、105:: b106:: usinessアプリケーション（Zoho CRM、Zoho Analyticsなど）が該当します。DataPrepでは、50以上の標準デスティネーション出力から、エクスポート先を選択して準備済みデータを出力できます。このデスティネーションは、ETLパイプラインにおけるデータ移動の最終手順にあたり、準備済みデータがDataPrepから出力される場所です。
108:: 7109:: . デスティネーションの追加が完了したら、110:: 111:: Run112:: ボタンを使ってパイプラインの実行をお試しください。
113:: 8114:: . 各実行はジョブとして保存されます。パイプライン実行時には、データソースから取得済みのデータが、115:: 取得済みのデータが116:: 117:: 各ステージで適用した一連の変換処理により準備され、その後データがエクスポート済みのデスティネーションへ送信されます。この一連のETLプロセス（データの取得、変換、移動）はジョブ履歴に記録されます。119:: 手動実行が正しく動作することを確認できたら、120:: スケジュールを設定して121:: パイプラインの自動化も可能です。このスケジュールにより、繰り返し行われるデータ移動やデータ統合タスクが自動化されます。 122:: 詳細は 123:: 各種実行タイプについて124:: こちら125:: をご参照ください。
126:: 9127:: . 移動先 128:: 省略記号129:: アイコンをクリックし、「Job履歴」メニューを選択してジョブステータスを確認します。すべての実行はジョブとして記録され、130:: Jobsページに保存されます。
131:: 情報: Jobsタブでは、すべてのパイプラインに関する全体のジョブステータスも確認できます。132:: Jobs133:: タブ134:: 。
135:: パイプラインページでテンプレートライブラリを利用してパイプラインを作成する方法
新しいパイプラインは「Pipelines」タブから作成できます。「新しく作成する」ドロップダウンアイコンをクリックし、テンプレート library から選択します。
パイプラインの作成および実行の他の手順も同様の流れとなり、ETLやデータ移動、データ統合のベストプラクティスが守られるよう、こちらに記載の内容に従ってください。
ワークスペース内でテンプレート library を使用してパイプラインを作成する方法
ワークスペースページで、新規 pipeline をテンプレートライブラリから既存の workspace 内で作成できます。
2. 「新しく作成する」ドロップダウンアイコンをクリックし、テンプレートライブラリから選択します。
他の pipeline の作成および実行手順も上記と同じ流れで進めてください。ETL、データ移動、データ統合のベストプラクティスが維持されるようにしてください。詳細はこちらをご参照ください。
パイプラインテンプレートを保存する方法
1. 必要な pipeline を開き、「Pipeline canvas」ページの省略記号アイコンをクリックします。
171:: 2. 保存 as テンプレート オプションをクリックし、保存 as pipeline テンプレート を選択します。パイプラインはテンプレートライブラリにパイプラインテンプレートとして保存されます。
176:: 3. Workspace タブで、Pipeline テンプレート に移動し、使用する now をクリックして、保存したテンプレートから新規パイプラインを作成します。