Pipeline Builderは、ユーザーがDataPrep内で複数のデータステージや多様なフロー単位の変換を含むデータフローを作成できるツールです。新規pipelineを作成すると、Pipeline Builderページが表示されます。Pipeline Builderページには、パイプラインの詳細、データ元の詳細、データセットの詳細、出力先の詳細、そしてパイプラインの元に戻す・やり直し、データのインポート、 バージョン履歴、スケジュール、実行、パイプライン設定など、パイプラインに関するすべての関連情報が一覧表示されます。

 

詳細をさらに詳しく見ていきましょう。

Ask Zia – Pipeline Builder用AIアシスタント

Pipeline 設定 

パイプラインに関連する以下の設定を、三点リーダーアイコンから使用できます。

 

 概要 

Pipeline Builderの三点リーダーアイコンをクリックし、概要メニューを選択します。パイプラインの概要では、パイプライン名、作成者、作成日、最終更新日と時刻、最終更新ユーザー、ワークスペース名、ステージ、データソース、宛先、共有ユーザー、スケジュール時刻、最新のジョブ実行、次回のジョブ実行などの詳細情報が表示されます。また、パイプライン概要から名前の変更、削除、サポートユーザーへの共有も可能です。

 

 バージョン履歴 

バージョン履歴を利用すると、パイプライン内ですべての処理状況を把握できます。公開済みの過去バージョン一覧を表示でき、現在有効なバージョンも確認できます。

メモ: バージョンを復元して編集後、変更を有効にしないまま別のバージョンに切り替えた場合、最初のバージョンは失われ、バージョン履歴に表示されません。下書きは有効にしない限り、バージョン履歴に保存されません。

 

履歴 表示基準 初期設定では、パイプライン内のすべての処理が時系列順に表示されます。必要に応じて、バージョンタイプ、ユーザー、日付で履歴をフィルタリングして表示できます。

 
下書き 

 

 Job 履歴 

 

Pipeline Builderの三点リーダーアイコンをクリックし、Job 履歴オプションを選択すると、特定のパイプラインのすべてのジョブを表示できます。

Jobsページでジョブをクリックすると、Job 概要に移動します。Job 概要では、ジョブの詳細が3つのタブで表示されます：概要、Stages、Outputです。こちらをクリックして詳細をご覧ください。

 

 Personal data 概要 

 

 

 パイプラインを共有する

共有したいユーザーまたはグループのメールアドレスやグループ名を入力してください。

「メールを送信する通知」チェックボックスを選択すると、ユーザーにメールで通知できます。

 

また、以前に共有した連絡先リストからユーザーやグループを選択できます。

「共有する」をクリックすると、パイプラインをユーザーやグループと共有できます。




ユーザーとのパイプライン共有を停止したい場合は、ボタンをクリックしてください。

 

新しいグループを作成するには

詳細はこちら（パイプラインの共有について）。

テンプレートとして保存

2. 保存 as テンプレートオプションをクリックし、保存 as pipeline テンプレートを選択します。パイプラインはテンプレートライブラリに pipeline テンプレートとして保存されます。

また、pipeline テンプレートをダウンロードし、ダウンロードする pipeline as .zdptオプションを利用してご使用いただけます。

3. Workspaceタブで、Pipeline テンプレートに移動し、使用する nowをクリックすると、保存したテンプレートを使って新規パイプラインを作成できます。

サポートと共有する

 

共有する with サポートオプションをクリックします。パイプラインをサポートチームと共有するとき：

• サポートチームに対して、個人データを含むパイプライン内のすべてのデータの表示および編集権限を付与します。続行する場合は、共有するオプションをクリックしてください。
  
  
  
  
  

• サポートチームへのアクセスは自動的に2週間後に失効します。2週間経過前にアクセスを取り消したい場合は、このメニューオプションから手動でアクセスを取り消すことができます。
  
  

 

データを更新する

ごみ箱に移動

このオプションを利用すると、パイプラインを削除してごみ箱へ移動できます。削除されたパイプラインは、ワークスペースページのごみ箱タブから確認できます。ごみ箱セクションより、エンティティを復元することも、完全に削除することも可能です。ごみ箱内の商品は180日後に完全削除されます。

ズームイン・ズームアウト - このオプションでパイプラインのズームインおよびズームアウトが可能です。範囲は60%から100%です。

 

Scroll 戻る to content - パイプラインが出力の表示位置からずれた場合、クリックするとコンテンツの先頭にスクロールして戻ります。

 

元に戻す・やり直し 

データをインポートする 

パイプラインビルダー上部のインポートする data アイコンをクリックして、複数のソースからパイプラインにデータを取り込むことができます。

 

パイプラインの要素

データ元を変更する

1. データ元 アイコンを右クリックし、変更する データ元オプションを選択します。インポートするページにリダイレクトされ、任意のデータ元からデータをインポートすることができます（必須）。

データ元 詳細

2. データ元アイコンを右クリックし、Datasource 詳細 オプションを選択するか、データ元アイコンを一度クリックしてデータ元詳細を表示します。

コピー先

 

Stageを追加 - インポートしたデータを使用して新しいステージを追加できます。ステージは、データフロー変換の適用中にデータを処理するノードとして作成されます。データ元からインポートされたデータには、初期設定でステージが作成されます。

 

パイプラインから削除 - このオプションを使用すると、インポートしたデータとパイプライン上のフローを削除できます。

 

Dataset 詳細

 

5. stage アイコンを一度クリックすると、Dataset 詳細（Ruleset、概要）が表示されます。

 

データセットの概要: 概要では、データセットの名前、作成者、作成日、最終更新者、最終更新日、カラム数、ルール件数、データ品質、データプレビューが一覧で表示されます。





また、「Prepare Data」を選択して、DataPrep Studioページを開き、他のデータ変換を確認できます。

ルールセット:データセットに適用された各変換は、DataPrep内でルールとして実行順に保存されます。これらのルールの順序付きリストをルールセットと呼びます。ルールセットペインからルールセットにアクセスし、ステージに適用済みのルールの追加、編集、削除が可能です。

 

ステージ設定

データの準備

 

参加する

 

Append 

 

Pivot

 

Unpivot

 

ステージの追加

 

デスティネーションの追加

データデスティネーションは、データをエクスポートする先の場所です。クラウドデータベースや、Zoho CRM、Zoho Analyticsなどの法人アプリケーションが含まれます。DataPrepでは、50以上の標準デスティネーション出力からエクスポート先を選択し、準備したデータをエクスポートできます。

 

概要

 

rulesetの表示

 

 

パイプラインからの削除

コピー先

 

Destination 詳細

 

7. destination を1回クリックすると、Connection 詳細、フォルダー パス、ファイル エクスポート オプション、ファイル名、ファイル形式、区切り文字、テキスト修飾子、行区切り、ファイルエンコーディング、.郵便番号ファイルとして圧縮、個人データなどの詳細が表示されます。 編集する場合は「編集」オプションをクリックしてください。

Copy to

出力先を右クリックすると、次のオプションが表示されます。

このエクスポートを実行 - 出力先を右クリックしてこのエクスポートを実行オプションを選択すると、パイプライン全体ではなく特定の出力フローのみを実行できます。

 

出力先を編集 - このオプションを利用してパイプラインの出力先を変更できます。出力先を編集オプションをクリックすると、出力先の選択ダイアログボックスへリダイレクトされ、DataPrep内の50種類以上のデータ出力先から標準の出力先を選択できます。

出力先を削除 - このオプションを使って、パイプラインに追加した出力先を削除できます。