パイプラインビルダーページ

パイプラインビルダーページ

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

パイプラインの作成画面では、DataPrepで複数のデータステージやさまざまなフローレベルの加工処理を使用して、データフローを作成できます。新しいパイプラインが作成されると、パイプラインの作成画面が表示されます。この画面には、パイプラインに関するすべての関連情報が表示されます。パイプラインの詳細、データソースの詳細、データセットの詳細情報、エクスポート先の詳細に加え、パイプラインの変更を元に戻す/やり直す、データのインポート、 バージョン履歴、予約、実行、パイプラインの設定などが含まれます。

 

詳しく見ていきましょう。

パイプラインの作成画面向けAIアシスタント「Ziaに質問」

パイプラインの作成画面でZiaに質問を使用すると、さまざまなデータソースからデータを簡単にインポートして加工し、複数のエクスポート先にエクスポートできます。また、自然言語で指示するだけで、パイプラインを予約できます。詳しくはこちらをクリックしてください



パイプラインの設定 

パイプラインに関連する以下の設定は、三点リーダーアイコンから利用できます。


 

 概要 

パイプラインの作成画面で、三点リーダーアイコンに移動し、[概要]メニューをクリックします。パイプラインの概要では、パイプライン名、作成者、作成日、最終更新日時、最終更新者、ワークスペース名、ステージ、データソース、エクスポート先、共有ユーザー、予約日時、最後の処理の実行、次回の処理の実行などの詳細を確認できます。また、パイプラインの概要から、名前の変更、削除、サポートチームへの共有を行うこともできます。

Info情報:パイプラインをまだ共有していない場合は、[パイプラインを共有する]リンクをクリックして、ユーザーにパイプラインを共有できます。パイプラインを共有する方法の詳細はこちらをクリックしてください


 

 バージョン履歴 

パイプラインの作成画面で、三点リーダーアイコンに移動し、[バージョン履歴]メニューをクリックします。パイプラインは下書き中に何度も更新され、準備完了にすると変更内容が公開されて有効になり、新しいバージョンが作成されます。

Notesメモ:下書きを一度公開して有効にすると、パイプラインの作成画面上部にある[最終保存]リンクからバージョン履歴にアクセスできます。


 

バージョン履歴では、パイプラインで行われたすべての操作を確認できます。公開済みの過去のバージョンのリストと、現在有効なバージョンを確認できます。


これにより、特定のバージョンに切り替えて内容や変更点を確認できます。また、必要に応じて[復元]を使用し、パイプラインを以前のバージョンに復元することもできます。復元後、パイプラインは下書き状態になります。そのバージョンを公開して有効にするには、準備完了にします。


メモ:バージョンを復元して編集した後、変更内容を有効にせずに別のバージョンへ切り替えると、最初に復元したバージョンは失われ、バージョン履歴に表示されなくなります。下書きは、有効にしない限りバージョン履歴に保存されません。


 

履歴ビューには、標準でパイプラインのすべての操作が時系列順に表示されます。必要に応じてフィルターを使用し、バージョンの種類、ユーザー、日付別に履歴を表示できます。


 
下書き 

 

パイプラインへの変更は下書きバージョンとして保存され、有効な予約には反映されません。変更を予約内容に反映するには、[準備完了にする]をクリックしてください。

メモ:手動での実行とバックフィルでは、有効または下書きの状態にかかわらず、最新の下書きが実行されます。



 処理の履歴 

 

パイプラインの作成画面で省略記号アイコンを開き、特定のパイプラインのすべての処理を表示するには、[処理の履歴]をクリックします。

処理]ページで処理をクリックすると、[処理の概要]に移動します。[処理の概要]には、処理の詳細が3つのタブで表示されます:[概要][ステージ][出力内容]こちらをクリックして詳細を確認できます。

 

 個人情報の概要 

 

パイプラインの作成画面で省略記号アイコンを開き、[個人情報の概要]メニューをクリックします。個人情報の概要]では、パイプライン内の個人情報がどのように保護されているかを確認できます。このセクションには、ステージの名前と、個人情報および電子的保護対象医療情報(ePHI)を含む列の数が表示されます。こちらをクリックして、DataPrepで列を個人情報として設定する方法を確認できます。

Info情報:すべてのパイプラインおよびワークスペース内の個人情報は、[個人情報の監査]でも確認できます。この項目は、[プライバシーの管理]セクション内の[設定]ページにあります。

 

 パイプラインの共有

パイプラインの作成画面で省略記号アイコンを開き、[パイプラインを共有する]メニューをクリックします。


共有するユーザーのメールアドレスまたはグループ名を入力します。

ユーザーにメールで通知するには、[ユーザーにメール通知を送信する]チェックボックスを選択します。

 

以前に共有した連絡先のリストから[ユーザーを選択]/groupsを使用することもできます。

パイプラインをユーザーまたはグループに共有するには、[共有]をクリックします。




ユーザーとのパイプラインの共有を停止するには、ボタンをクリックします。

 

新しいグループを作成するには

1. [パイプラインを共有する]ダイアログボックスで、[新しいグループを作成する]ボタンをクリックします。
2. 新しいグループの名前を入力します。ユーザーのメールアドレスを入力して、グループに追加します。
3. 新しいグループを作成するには、[作成する]をクリックします。



パイプラインの共有について詳しくは、こちらをクリックしてください

テンプレートとしての保存

1. 対象のパイプラインを開き、パイプラインの作成画面]ページで省略記号アイコンをクリックします。



2. [テンプレートとして保存する]をクリックし、[パイプラインテンプレートとして保存する]を選択します。パイプラインがパイプラインテンプレートとしてテンプレートライブラリーに保存されます。

また、[.zdpt形式でパイプラインをダウンロードする]を使用して、パイプラインテンプレートをダウンロードして利用することもできます。

3. [ワークスペース]タブで[パイプラインテンプレート]に移動し、保存したテンプレートを使用して新しいパイプラインを作成するには、[今すぐ使用する]をクリックします。

サポートチームとの共有

対象のパイプラインを開き、パイプラインの作成画面]ページで省略記号アイコンをクリックします。

 

[サポートチームに共有]をクリックします。パイプラインをサポートチームと共有すると、次のようになります。

  • 個人情報を含む列を含め、パイプライン内のすべてのデータを表示および変更するための完全なアクセス権限がサポートチームに付与されます。続ける場合は、[共有]をクリックします。




  • サポートチームのアクセス権限は、2週間後に自動的に失効します。2週間が経過する前にアクセス権限を取り消す場合は、このメニュー項目を再度使用して手動で取り消すことができます。

 

データの再読み込み

データソースからデータを再読み込みすることで、ステージを最新のデータに手動で更新できます。

1. パイプラインの作成画面で三点リーダーアイコンをクリックし、[データの再読み込み]を選択します。



2. データを再読み込みするため、データの範囲とインポート設定を指定します。データの再読み込み方法については、こちらをクリックしてください。

ごみ箱への移動

この項目を使用すると、パイプラインを削除してごみ箱に移動できます。削除済みのパイプラインは、ワークスペースページの[ごみ箱]タブで確認できます。ごみ箱から対象を復元するか、完全に削除できます。ごみ箱内の項目は180日後に完全に削除されます。

拡大、縮小 - この項目を使用すると、パイプラインを拡大または縮小できます。表示倍率の範囲は60%~100%です。

 

内容に戻る - パイプラインが表示範囲外に移動した場合、ここをクリックすると上部の内容に戻ります。


メモ:[戻る]アイコンまたはワークスペース名をクリックすると、ワークスペースに戻ることができます。パイプライン名を変更することもできます。

 

元に戻す/やり直す 

パイプラインで行ったすべての変更を元に戻したり、やり直したりするには、パイプラインの作成画面にある[元に戻す]/[やり直す]ボタンを使用します。

データのインポート 

複数のデータソースからパイプラインにデータを取り込むには、パイプラインの作成画面上部にある[データのインポート ]アイコンをクリックします。

 

パイプライン内の要素

データ元の変更

1. 元データアイコンを右クリックし、データ元を変更する]を選択します。インポートページに移動し、必要に応じて任意の元データからデータをインポートできます。




Notesメモ:データソースの下に表示される名前をクリックすると、インポートしたファイルの名前を変更することもできます。


データソースの詳細

2. データソースアイコンを右クリックして[データソースの詳細]を選択する か、データソースアイコンを1回クリックすると、データソースの詳細を表示できます。





データソースを変更する場合は、[データ元を変更する]をクリックします。[編集する]を使用してデータソースの詳細を編集することもできます。



ファイルのパスを編集し、別の場所からデータを取得することもできます。上の画像はWorkdriveの例です。同様に、すべての連携サービスでデータソースの詳細を編集できます。

Notes
メモ:ファイル形式をCSVまたはTSVからXSLSXまたはHTMLに変更することはできません。

コピー先

3. フローを別のパイプラインにコピーするには、データソースまたはデータのエクスポート先アイコンを右クリックし、[コピー先]を選択します。また、アイコンをクリックするか、データソースに接続されているステージまたはその他のステージを右クリックすることもできます。



選択したフローのコピー先となる既存のパイプラインをドロップダウンから選択します。または、[新しいパイプラインを作成]を選択し、パイプライン名を入力して[コピーする]をクリックします。



選択したフローの上流と下流がすべてコピーされ、新しいパイプラインに追加されます。

Notesメモ:フローを別のパイプラインにコピーすると、データソースのコピーも作成されます。


4. アイコンをクリックするか、データソースにリンクされているステージを右クリックして、次のいずれかを選択します。

 

[ステージを追加する] - インポートしたデータを使用して新しいステージを追加します。ステージとは、データフローの加工処理を適用しながらデータを処理するために作成されるノードです。データソースからインポートした各データには、標準でステージが作成されます。

 

[パイプラインから削除する] - この設定を使用すると、インポートしたデータとフローをパイプラインから削除できます。


 

データセットの詳細情報

 

5. [ステージ]アイコンを1回クリックすると、データセットの詳細情報(ルールセット、概要)が表示されます。

 

データセットの概要:概要には、データセットの名前、作成者、作成日、最終更新者、最終更新日時、列、ルールの件数、データの品質、データのプレビューが表示されます。





また、[データを準備する]を選択して、DataPrep Studioページを開き、その他のデータの加工処理を確認できます。

ルールセット:データセットに適用された各加工処理は、実行順にルールとしてDataPrepに保存されます。実行順に並べられたルールのリストをルールセットと呼びます。ルールセットにはルールセットのパネルからアクセスでき、ステージに適用済みのルールを追加、編集、削除できます。

 

ステージの設定

6. アイコンをクリックするか、ステージを右クリックして、次の設定を選択します。




データの準備

[データを準備する]を選択して、DataPrep Studioページを開き、その他のデータの加工処理を確認できます。

 

結合

結合の加工処理では、共通する列を使用して2つのデータセットを結合できます。DataPrepでは、内部結合、左結合、右結合、外部結合の4種類すべてを使用できます。こちらをクリックすると、結合の詳細を確認できます。

 

追加 

DataPrepでは、追加の加工処理を使用して、データセットに別のデータセットを追加し、新しいデータセットを作成できます。 こちらをクリックすると、追加の加工処理の詳細を確認できます。

 

ピボット

ピボットテーブルを使用すると、データが見やすく整理されます。カテゴリーを列に変換し、縦に長い複雑なテーブルのデータを横方向に展開します。ピボットを作成するには、[列][行][データ]の各項目を選択します。こちらをクリックすると、ピボットの加工処理の詳細を確認できます。

 

列から行に変換

列から行に変換すると、列が行に変換されます。この加工処理はデータを集約する際に役立ちます。変換後のデータは、レポートやダッシュボードを作成するために分析ソフトウェアへエクスポートされることがよくあります。加工処理を適用すると、結果が新しいデータセットとして保存されます。こちらをクリックすると、列から行に変換する加工処理の詳細を確認できます。

 

ステージの追加

この設定を使用すると、パイプラインに新しいステージを追加できます。ステージとは、データフローの加工処理を適用しながらデータを処理するために作成されるノードです。データソースからインポートした各データには、標準でステージが作成されます。

 

エクスポート先の追加


データフローを作成し、ステージに必要な加工処理を適用したら、ステージを右クリックしてエクスポート先を追加し、データフローを完成させます。

データのエクスポート先とは、データをエクスポートする場所です。クラウドデータベースや、Zoho CRM、Zoho Analyticsなどのビジネスアプリケーションを指定できます。DataPrepで利用可能な50種類以上のデータのエクスポート先から、任意のエクスポート先を選択し、準備したデータをエクスポートできます。

 

概要

概要には、データセット名、作成者、作成日、最終更新者、最終更新日時、列、ルールの件数、データの品質、データのプレビューの一覧が表示されます。




また、[データを準備]を選択して、DataPrep Studioページを開き、その他のデータの加工処理を確認することもできます。

 

ルールセットの表示

データセットに適用された各加工処理は、実行順にルールとしてDataPrepに保存されます。これらのルールを実行順に並べたリストを「ルールセット」と呼びます。ルールセットのパネルからルールセットにアクセスし、ステージに適用済みのルールを追加、編集、削除できます。

 

 

パイプラインからの削除

この設定を使用すると、パイプラインからステージを削除できます。

コピー先

あるパイプラインから別のパイプラインにフローをコピーするには、任意のステージでアイコンをクリックするか、データソースに接続されているステージを右クリックして、[コピー先]を選択します。または、データソースまたはデータのエクスポート先のアイコンを右クリックします。



選択したフローのコピー先となる既存のパイプラインをドロップダウンから選択するか、[新しいパイプラインを作成]を選択し、パイプライン名を入力して、[コピー]をクリックします。



選択したフローの上流および下流全体がコピーされ、新しいパイプラインに追加されます。

Notesメモ:あるパイプラインから別のパイプラインにフローをコピーすると、データソースのコピーも作成されます。


 

エクスポート先の詳細

 

7. [エクスポート先]を1回クリックすると、接続の詳細、フォルダーのパス、ファイルのエクスポート設定、ファイル名、ファイル形式、区切り文字、テキストの引用符、行の区切り文字、ファイルの文字コード、Zipファイルに圧縮する、個人情報などの詳細を確認できます。エクスポート先の詳細を編集するには、[編集]をクリックします。




ファイルのパスを編集して、別の場所にデータをエクスポートすることもできます。上の画像はGoogle Driveの画面です。同様に、すべてのコネクターのデータソースの詳細を編集できます。



Notes
メモ:ファイル形式をCSVまたはTSVからXSLSXまたはHTMLに変更することはできません。

コピー先

3. あるパイプラインから別のパイプラインにフローをコピーするには、データソースまたはデータのエクスポート先のアイコンを右クリックし、[コピー先]を選択します。または、アイコンをクリックするか、データソースに接続されているステージまたはその他の任意のステージを右クリックします。


エクスポート先を右クリックすると、次の設定が表示されます。

[このエクスポートを実行する] -
パイプライン全体を実行せずに、特定のエクスポート先のフローのみを実行するには、エクスポート先を右クリックして、[このエクスポートを実行する]を選択します。

 

[エクスポート先を編集する] - この設定を使用すると、パイプラインのエクスポート先を変更できます。[エクスポート先を編集する]をクリックすると、エクスポート先を選択ダイアログに移動します。ここで、DataPrepで利用可能な50件以上のデータのエクスポート先から希望するエクスポート先を選択できます。

[エクスポート先を削除する] - この設定を使用すると、パイプラインに追加したエクスポート先を削除できます。



予約

予約オプションでは、パイプライン内の各種元データからのインポート、加工処理の適用、エクスポート先へのエクスポートを一定間隔で実行するよう予約できます。予約時には、クラウドストレージ、CRM、Creatorなどの各種元データから差分データをインポートすることもできます。差分データのインポートとは、前回の同期後に新規作成または更新されたデータをインポートする方法です。パイプラインを予約する方法について、詳しくはこちらをご覧ください

実行 

手動での実行

 パイプラインで手動での実行オプションを開始すると、準備したデータをエクスポート先にエクスポートできます。手動で実行すると、データは更新されずに既存のデータを使用してパイプラインが実行されるため、新しいデータはインポートされません。パイプラインを手動で実行する方法について、詳しくはこちらをご覧ください

 

バックフィルの実行

バックフィルの実行は、準備したデータをエクスポート先にエクスポートするためのオプションです。主に、失敗した予約分を補う場合、特定の期間のデータをインポートする場合、または処理を予約せずに差分データを手動で取得する場合に使用できます。バックフィルを実行する前に、データの範囲を指定する必要があります。 パイプラインでバックフィルを実行する方法について、詳しくはこちらをご覧ください

ウェブフック

Zoho DataPrepでは、ウェブフックを使用してパイプラインを開始できます。ウェブフックとは、元のサイトで特定のイベントが発生したときに呼び出される、ユーザー定義のHTTPコールバックです。イベントが発生すると、元のサイトから指定されたURLにHTTP要求が送信されます。ウェブフックについて、詳しくはこちらをご覧ください。

Zoho Flow


ミニマップ

ミニマップは、パイプラインの作成画面の右下隅にあり、拡大/outコントロールの隣に表示されます。パイプライン全体をコンパクトに視覚化できます。特に、大規模または複雑なパイプライン内を移動したり、レイアウトを把握したりする際に役立ちます。