Pipeline builderは、ユーザーがDataPrepで複数のデータステージや様々なフロー単位の変換を含むデータフローを作成できるツールです。新規pipelineが作成されると、pipeline builderページが開きます。pipeline builderページには、パイプラインに関するすべての関連情報が表示されます。これには、パイプラインの詳細、データ元の詳細、データセットの詳細、出力先の詳細、さらにundoやredo、データのインポート、バージョン履歴、スケジュール、実行、パイプライン設定などの設定が含まれます。

 

それでは、詳しく見ていきましょう。

Ask Zia – Pipeline Builder向けAIアシスタント

Pipeline設定 

パイプラインの右上にある三点アイコンから、以下の設定を利用できます。

 

 概要 

パイプラインビルダーの三点リーダーアイコンを選択し、概要メニューをクリックします。パイプラインの概要では、パイプライン名、作成者、作成日、最終更新日時、最終更新ユーザー、ワークスペース名、ステージ、データソース、デスティネーション、共有ユーザー、スケジュール時刻、最新のジョブ実行、次回のジョブ実行などの詳細を確認できます。また、パイプライン概要から名前の変更、削除、共有も行えます。

 

 バージョン履歴 

バージョン履歴は、パイプライン内のすべての処理履歴を管理するのに役立ちます。公開済みの過去バージョン一覧や、現在有効なバージョンを表示できます。

メモ: バージョンを復元後に変更を加え、その変更を有効化せずに別バージョンへ切り替えた場合、元のバージョンは失われ、バージョン履歴には表示されません。下書き状態の内容は、有効化されない限りバージョン履歴に保存されません。

 

履歴表示基準の初期設定では、パイプライン内のすべての処理が時系列順に表示されます。必要に応じて、フィルターを使用してバージョンタイプ、ユーザー、日付ごとに履歴を表示できます。

 
下書き 

 

 Job 履歴 

 

パイプラインビルダーの三点リーダーアイコンをクリックし、Job 履歴オプションを選択すると、特定のパイプラインのすべてのジョブを表示できます。

Jobsページ内のジョブをクリックすると、Job 概要画面へ移動します。Job 概要では、ジョブの詳細が3つのタブで表示されます：概要、Stages、Output。詳細はこちらをクリックしてください。

 

 Personal data 概要 

 

 

 パイプラインを共有する

ユーザーやグループと共有する場合は、ユーザーメールまたはグループ名を入力します。

「メールを送信する通知」チェックボックスを選択すると、ユーザーにメールで通知されます。

 

過去に共有した連絡先リストからユーザーやグループを選択できます。

「共有する」をクリックすると、パイプラインをユーザーやグループと共有できます。




パイプラインの共有を停止したい場合は、ボタンをクリックしてください。

 

新しいグループを作成する方法

パイプラインの共有について詳しくはこちらをクリックしてください。

テンプレートとして保存

2. 保存 as テンプレートオプションをクリックし、保存 as pipeline テンプレートを選択します。pipelineはテンプレートライブラリにpipelineテンプレートとして保存されます。

また、pipelineテンプレートをダウンロードし、ダウンロードする pipeline as .zdpt オプションを使って利用できます。

3. Workspaceタブで、Pipeline テンプレートに進み、使用する nowをクリックして、保存済みテンプレートを使い新規pipelineを作成します。

サポートと共有する

 

共有する with サポートオプションをクリックします。pipelineをサポートチームと共有するとき：

• サポートチームに、個人データを含む列をはじめとするパイプライン内のすべてのデータの表示および編集権限を完全に付与します。続行する場合は、共有するオプションをクリックしてください。
  
  
  
  
  

• サポートチームのアクセス権は2週間後に自動的に失効します。2週間より前にアクセスを取り消したい場合は、このメニューオプションを再度使用して手動でアクセスを取り消すことができます。
  
  

 

データを更新する

ごみ箱に移動

このオプションを使用して、パイプラインを削除し、ごみ箱に移動します。削除されたパイプラインは、ワークスペースページのごみ箱タブで確認できます。エンティティを復元するか、ごみ箱から完全に削除することが可能です。ごみ箱内の商品は180日後に完全に削除されます。

ズームイン・ズーム出力 - このオプションでパイプラインのズームインおよびズーム出力が可能です。範囲は60%から100%までです。

 

Scroll 戻る to content - パイプラインの移動で表示する出力が変わった場合、クリックすると上部のコンテンツへスクロールして戻れます。

 

元に戻す・やり直し 

データをインポートする 

パイプラインビルダー上部のデータをインポートする アイコンをクリックすると、複数のソースからパイプラインにデータを取り込むことができます。

 

パイプラインの要素

データ元を変更する

1. データ元 アイコンを右クリックし、変更する データ元 オプションを選択します。この操作でインポートするページにリダイレクトされ、任意のデータ元からデータを必須としてインポートできます。

データ元 詳細

2. データ元 アイコンを右クリックし、Datasource 詳細オプションを選択するか、データ元 アイコンをクリックするとデータ元の詳細が表示されます。

コピー先

 

追加する Stage- インポートしたデータを使用して新規ステージを追加します。ステージは、データフロー変換の適用中にデータ処理のために作成されるノードです。データ元からインポートされたデータには、初期設定としてステージが作成されます。

 

パイプラインから削除 - このオプションを使用して、インポートしたデータおよびフローをパイプラインから削除できます。

 

Dataset 詳細

 

5. stageアイコンを一度クリックすると、Dataset 詳細（Ruleset、概要）が表示されます。

 

データセットの概要: 概要では、データセットの名前、作成者、作成日、最終更新者、最終更新日、列、ルール件数、データ品質、データプレビューが一覧表示されます。





また、Prepare Dataを選択してDataPrep Studioページを開き、その他のデータ変換を確認できます。

ルールセット：各トランスフォームがデータセットに適用されると、DataPrepではそれらがルールとして実行順に保存されます。これらのルールを順に並べたリストをルールセットと呼びます。ルールセットはルールセットペインからアクセスでき、ここでステージに適用されたルールの追加、編集、削除が可能です。

 

ステージ設定

データの準備

 

参加する

 

Append 

 

Pivot

 

Unpivot

 

ステージの追加

 

デスティネーションの追加

データデスティネーションは、データをエクスポートする場所です。クラウドデータベースやZoho CRM、Zoho Analyticsなどの法人アプリケーションが含まれます。DataPrepでは、50種類以上のデータデスティネーションから標準デスティネーション出力を選択し、加工済みデータをエクスポートできます。

 

概要

 

rulesetの表示

 

 

パイプラインから削除する

コピー先

 

Destination 詳細

 

7. destination を1回クリックすると、Connection 詳細、フォルダーパス、File エクスポートオプション、ファイル名、File 形式、区切り文字、テキスト区切り文字、行区切り、ファイルエンコーディング、.郵便番号 ファイルとして圧縮、個人データなどの詳細が表示されます。編集オプションをクリックすると、destination 詳細を編集できます。

Copy to

デスティネーションを右クリックすると、以下のオプションが表示されます。

 

編集 destination - このオプションでパイプラインのデスティネーションを変更できます。編集 destinationをクリックすると、選択する your destinationダイアログボックスが表示され、DataPrepで50以上のデータデスティネーション出力から標準のデスティネーションを選択することができます。

削除する destination - このオプションを使用して、パイプラインに追加したデスティネーションを削除できます。