テンプレートライブラリからのパイプライン作成
パイプラインは、複数のデータステージやさまざまなフローレベルの加工処理を備えたETLパイプラインやデータフローをDataPrepで作成するための基本要素です。テンプレートライブラリーには、事前定義済みのテンプレートと、保存済みのパイプラインテンプレートがすべて用意されています。また、新しいパイプラインを一から、テンプレートライブラリーの事前定義済みテンプレートまたは保存済みのテンプレートを使用して作成できます。テンプレートからパイプラインを作成するオプションは、次の場所にあります。
-
ホームページ
-
パイプラインページ
-
ワークスペースページ
ホームページでテンプレートライブラリーを使用してパイプラインを作成するには
1. 新しいパイプラインは、［ホーム］ページから作成できます。［新規作成］のドロップダウンアイコンをクリックし、［テンプレートライブラリーから］を選択します。
事前定義済みテンプレートを使用してパイプラインを作成するには
b. いずれかのテンプレートを選択すると、説明を含むテンプレートの詳細が表示されます。こちらから、［テンプレートを使用する］をクリックできます。
c. このパイプラインを既存のワークスペースまたは新しいワークスペースに作成できます。また、［サンプルデータとともにテンプレートを読み込む］を選択して、サンプルデータとともにテンプレートを読み込み、ルールや加工処理を確認することもできます。［次へ］をクリックします。
d. 選択したワークスペースに、テンプレートを使用したパイプラインが作成されます。パイプラインビルダーが表示されます。
保存済みのテンプレートを使用してパイプラインを作成するには
b. 保存済みのパイプラインテンプレートがこちらに一覧表示されます。必要なテンプレートをクリックします。
d. 選択したワークスペースに、テンプレートを使用したパイプラインが作成されます。パイプラインビルダーが表示されます。
2. パイプライン内のデータソースとエクスポート先を認証します。
別の元データやエクスポート先を選択することもできます。たとえば、テンプレートの元データがファイルで、元データをOneDriveに変更する場合は、元データを認証する際にOneDriveを選択できます。ただし、新たに取り込むデータのスキーマが、パイプラインテンプレートに適用済みのルールと一致することを確認してください。
別の元データからデータを連携した後にデータモデルが一致しない場合は、その不一致をルールセットを開いて、ルールを変更することで修正できます。
メモ：パイプラインの作成画面上部にある［データのインポート］ データのインポート後、パイプラインの作成画面に移動し、データソースと、それに接続されたステージを確認できます。
ステージとは、データフローの加工処理を適用しながらデータを処理するために作成されるノードです。各データソースからインポートされたデータには、標準でステージが作成されます。
4. ステージを右クリックして、データフローの加工処理を適用できます。
5. ［データを準備］を選択して、DataPrep Studioページを開き、さらに多くのデータの加工処理を確認することもできます。パイプラインの作成画面の各要素について確認するには、こちらをクリックしてください。
データフローの作成と、各ステージへの必要な加工処理の適用が完了したら、ステージを右クリックしてエクスポート先を追加し、データフローを完成させます。
6. データのエクスポート先とは、データをエクスポートする場所です。クラウドデータベースや、Zoho CRMやZoho Analyticsなどのビジネスアプリケーションを指定できます。DataPrepでは、50以上のデータのエクスポート先から希望するエクスポート先を選択し、準備したデータをエクスポートできます。このエクスポート先は、ETLパイプラインにおけるデータ移動の最終段階です。準備したデータがDataPrepからエクスポート先に読み込まれます。
7. エクスポート先を追加したら、［実行］ボタンを使用してパイプラインを実行してみましょう。
8. 実行内容は処理として保存されます。パイプラインを実行すると、データソースから取得したデータが、各ステージで適用した一連の加工処理によって準備され、その後、エクスポート先にエクスポートされます。データの取得、加工、移動を含むETL処理全体が、処理の履歴に記録されます。手動での実行が正常に動作することを確認したら、パイプラインの実行を予約して自動化できます。この予約により、繰り返し行うデータの移動や連携作業が自動化されます。実行の種類については、こちらをご確認ください。
9. ［その他］アイコンから［処理の履歴］メニューをクリックし、処理のステータスを確認します。処理として記録されたすべての実行内容は、［処理］ページに保存されます。
情報：すべてのパイプラインの処理ステータス全体は、［処理］タブでも確認できます。
パイプラインページのテンプレートライブラリーを使用してパイプラインを作成するには
新しいパイプラインは、［パイプライン］タブから作成できます。［新しく作成する］のドロップダウンアイコンをクリックし、［テンプレートライブラリーから］を選択します。
パイプラインの構築と実行に関するその他の手順も上記と同じ流れで進めることで、こちらに記載されているとおり、ETL、データ移動、データ連携のベストプラクティスが維持されます。
ワークスペース内でテンプレートライブラリーを使用してパイプラインを作成するには
1. ワークスペースページでは、新しいパイプラインをテンプレートライブラリーから 既存のワークスペース内に作成できます。
2. ［新しく作成する］ のドロップダウンアイコンをクリックし、［テンプレートライブラリーから］を選択します。
パイプラインの構築と実行に関するその他の手順も上記と同じ流れで進めることで、こちらに記載されているとおり、ETL、データ移動、データ連携のベストプラクティスが維持されます。
パイプラインテンプレートを保存するには
1. 必要なパイプラインを開き、［パイプラインキャンバス］ページで省略記号アイコンをクリックします。
2. ［テンプレートとして保存］オプションをクリックし、［パイプラインテンプレートとして保存する］を選択します。パイプラインがテンプレートライブラリーにパイプラインテンプレートとして保存されます。
3. ［ワークスペース］タブで［パイプラインテンプレート］に移動し、保存済みのテンプレートを使用して新しいパイプラインを作成するには、［今すぐ使用］をクリックします。