パイプライン手動実行

パイプライン手動実行

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

パイプラインで手動実行オプションをトリガーすると、準備したデータを宛先へエクスポートすることができます。手動実行では、パイプラインが既存のデータに対して実行され、リフレッシュは行われません。つまり、新しいデータのインポートはありません。
Notesメモ: また、このオプションはドライランや、スケジュールやバックフィル実行で自動化を行う前にパイプラインが失敗せずに実行できるかをテストするためにも使用できます。ただし、必ずテスト環境用にパイプライン(特に宛先)を設定してください。設定されたデータの宛先に対して変換やエクスポートが実施されます。

Info情報: 手動実行はパイプラインの最新バージョンで実行されます。バージョンとは、パイプライン上で行われた処理の各段階のことです。過去のバージョンで手動実行したい場合は、必要なバージョンを復元してから手動実行が可能です。バージョンの詳細はこちら 

 パイプラインで手動実行を行う方法 

1. パイプラインを開き、パイプラインビルダー画面に移動します。パイプラインの作成方法はこちらをご覧ください。

2. データを追加オプションをクリックし、必要なデータソースからデータを取り込みます。50以上のデータソースの詳細はこちら

データのインポートが完了すると、パイプラインビルダーにリダイレクトされ、データソースとそれにリンクされたステージが表示されます。

ステージは、データの処理やデータフローの変換を適用するために作成されるノードです。データソースからインポートされた各データセットには、初期設定でステージが作成されます。

3. ステージを右クリックして、データフロー変換を適用できます。

4. また、データ準備を選択して、DataPrep Studioページを開き、その他のデータ変換を確認できます。パイプラインビルダーの各要素についてはこちらをクリックしてください。

5. データフローの作成が完了し、各ステージに必要な変換を適用したら、ステージを右クリックして、データの出力先を追加してデータフローを完了できます。

6. データの出力先は、データをエクスポートしたい場所です。ローカルデータベースや法人向けアプリケーション(Zoho CRM、Zoho Analyticsなど)を指定できます。DataPrepでは、50種類以上のデータ出力先から標準の出力先を選択し、整形済みデータをエクスポートできます。


 

 手動実行 

7. パイプラインに出力先を追加した後、実行」ドロップダウンをクリックし、手動実行を選択します。



Notes
メモ: 対象を右クリックし、このエクスポートを実行オプションを選択することで、パイプライン全体ではなく特定の宛先フローのみを実行できます。

 設定 

  • データ品質が100%未満の場合にエクスポートを停止: このトグルを利用すると、データ品質が100パーセント未満になった場合にエクスポートを停止できます。
  • エクスポートの順番: 複数の宛先を設定している場合、データをどの順番で宛先へエクスポートするかをこのオプションで指定できます。
    メモ: このオプションは、パイプラインに2つ以上の宛先を追加している場合のみ表示されます。



データ更新設定

データ更新設定では、手動実行時にどのようにデータを取得するかの設定が行えます。



既存データを使用: このオプションは、インポートされたデータ元ファイルのデータを利用します。初期設定ではこのオプションが選択されています。

データ元からデータを更新: データ元から新しいデータをインポート設定に基づき取得・インポートできます。

データ間隔

Info
重要:データを段階的にインポートする場合のみ、Data interval の入力が必須です。
初期設定では、 データインターバル内の差出人時間は、直近の正常な更新を基準に自動入力されます。つまり、データは直近の正常な更新から現在の日付・時刻までが取得されます。編集を選択して、いつでも変更可能です。

右上の
編集オプションをクリックし、下記の設定を使用してデータインターバルを入力してください:



range を選択

差出人- このオプションでは、指定したパターン、差出人、日付、および時間に一致するデータをインポートできます。

が次の間- このオプションでは、指定したパターン、が次の間、2時間ごとの間隔に一致するデータをインポートできます。

Notes

メモ: データはインポートする設定に基づいてインポートされます。



インポートする設定

データソースに対して、必須設定を使用してインポートする設定を指定します。
Info
Info: 以下の設定はクラウドストレージサービスに適用されます。これらのインポートする設定は、選択したデータ元によって異なる場合があります。他のデータソースやデータ間隔が適用される場合については、以下のインポートする設定表を参照してください。

データ元からデータをインポートする方法
このオプションを使って、データをどのようにインポートするか選択します。

すべてのデータをインポート

指定したパターンに一致するすべてのデータがインポートされます。

ファイルバッチサイズ: この項目で指定したファイル数分のデータを、1つのファイルとしてインポートします。例えば、データ元に10件のファイルがあり、ファイルバッチサイズに10を指定した場合、10件すべてのファイルが1つのファイルとしてインポートされます。
Notes
メモ: ファイルバッチサイズの最大対応値は10です。

インクリメンタルファイル取得 

インクリメンタルファイル取得 - このオプションを使用すると、指定したパターンに一致するデータを段階的に取得できます。インクリメンタルデータ取得は、前回の同期以降にデータ元から新規ファイルをインポートする方法です。

新規データが利用できない場合は以前にインポートしたデータを使用: 

インクリメンタルインポート中、

  1. チェックボックスがオンの場合:データ元に新規データがない場合、最後に取得したデータが再度インポートされます。
  2. チェックボックスがオフの場合:データ元に新規データがない場合、インポートは失敗し、ファイルはインポートされません。この結果、パイプラインジョブ全体が失敗します。
どのファイルをインポートしますか?
以下の設定のいずれかを選択してください。

すべてのファイル- 「Fetch based オン」項目で選択したオプションに基づき、すべてのファイルがインポートされます。
Newest file- 「Fetch based オン」項目で選択したオプションに基づき、最新のファイルがインポートされます。
Oldest file- 「Fetch based オン」項目で選択したオプションに基づき、最も古いファイルがインポートされます。

Fetch based オン- ファイルは作成または更新された日時に基づいて取得されます。例えば、最初に作成されたファイルを取得したい場合は、「作成時間」を選択し、「Which file to インポートする?」項目で「Oldest file」オプションを選択してください。

File バッチ size: この項目で指定したファイル数分が、1つのファイルとしてインポートされます。例えば、データ元に10件のファイルがあり、file バッチ sizeを10と指定した場合、10件すべてが1つのファイルとしてインポートされます。
Notes
メモ: File バッチ sizeの最大対応値は10です。

インクリメンタル取得の例
例えば、2025年2月1日午前0時から2025年2月4日午前0時までの作成時間に基づいてすべてのデータをインポートしたいとします。以下は設定例とデータ間隔のスナップショットです。この設定により、2025年2月1日午前0時から2025年2月4日午前0時までに作成されたすべてのデータがインポートされます。

インポートする設定


データ間隔




データをインポートしない 

このオプションを選択すると、新規データはインポートされません。データ元ファイルはそのまま使用されます。

8. Runボタンをクリックして手動実行を開始します。これによりパイプラインの処理が始まり、ジョブ概要ページが開きます。ジョブ概要ではジョブの実行状況が表示されます。こちらをクリックして詳細をご覧ください。ジョブ概要ページで実行状況を確認できます。DataPrepのジョブには、「開始済み」「完了」「Failure」の3つのステータスがあります。

ジョブが失敗した場合、エラーがインポート段階、変換段階、または出力先・ターゲットマッチングのどこで発生したかをジョブ概要ページで特定できます。失敗したステージにカーソルを合わせるとエラーの詳細が表示され、内容を修正してエクスポートを続行できます。

概要タブでは、ジョブのステータスに加え、ジョブを開始したユーザー、使用中のストレージ、処理済みの合計行数、開始時間、終了時間、期間などの詳細を表示できます。詳細はこちらをクリック

Stagesタブでは、インポート、Transform、エクスポートなど各パイプラインステージの詳細を確認できます。詳細はこちらをクリック

Outputタブでは、すべてのエクスポート済みデータの一覧を確認できます。必要に応じて出力データをダウンロードすることも可能です。詳細はこちらをクリック


Notesメモ: ジョブは各パイプラインのメニュー内に一覧表示されます。ジョブは無期限に保存され、必要なときに参照できます。

9. マニュアル実行が完了すると、パイプラインで準備されたデータが設定済みの宛先へエクスポートされます。

クラウドストレージでのシンプル選択によるインポート設定

正規表現パターンを使用しないデータのインポートは「シンプル選択」と呼ばれます。クラウドストレージサービスからシンプル選択方式でデータをインポートする場合は、以下の設定を参照してください。

Data データ元 dataをインポートする方法(差出人 データ元) Data interval 適用対象かどうか
クラウドストレージ データ元ファイルをインポート 適用対象外
データをインポートしない 適用対象外

クラウドストレージでの詳細選択によるインポート設定

Zoho DataPrepでは、詳細選択オプションを使ってデータをインポートできます。詳細選択では、正規表現パターンに基づいて動的なファイル選択が可能です。詳細選択方法でデータをインポートする場合は、以下の設定を参照してください。

データ元 データ元からのインポート方法 データ間隔の適用可否
クラウドストレージ すべてのデータをインポート 適用不可
増分ファイル取得
すべてのファイル
最新のファイル
最も古いファイル
適用可
データをインポートしない 適用不可

Databridgeを使用しないデータソースのインポート設定

Zoho Databridgeを使用せず、以下のソースからデータをインポートする場合は、下記の設定を参照してください。

データ元 データ元からのインポート方法 データ間隔の適用可否
ローカルファイル インポートするデータ元ファイル
メモ: 「ファイルをアップロードする」オプションを使用して、インポートしたい新しいデータ元ファイルをアップロードできます。Parse file asオプションを利用すると、不明なファイル形式の解析が可能です。
該当なし
データをインポートしない 該当なし
URL インポートするデータ元ファイル 該当なし
データをインポートしない 該当なし
ローカルデータベース すべてのデータをインポート 該当なし
データをインポートしない 該当なし
FTPサーバー インポートするデータ元ファイル 該当なし
データをインポートしない 適用対象外

Databridgeを使用したデータソースのインポート設定

Zoho DataPrepでは、Zoho Databridgeを利用してローカルネットワークからデータをインポートできます。以下のソースからZoho Databridgeでデータをインポートする場合は、下記の設定をご参照ください。

データ元 データ元からデータをインポートする方法 データ間隔の適用有無
ローカルファイル すべてのデータをインポート 適用対象外
増分ファイル取得
すべてのファイル
最新のファイル
最も古いファイル
適用対象
データをインポートしない 適用対象外
ローカルデータベース すべてのデータをインポート 適用対象外
更新済みおよび新規データのみ 適用対象
データをインポートしない 対象外
FTPサーバー すべてのデータをインポートする 対象外
増分ファイル取得
すべてのファイル
最新のファイル
最も古いファイル
適用対象
データをインポートしない 対象外

アプリケーションおよびクラウドデータベースのインポート設定

アプリケーションまたは下記のクラウドデータベースからデータをインポートする場合は、以下の設定を参照してください。

データ元 データ元からデータをインポートする方法 データ間隔の適用有無
クラウドデータベース すべてのデータをインポート 対象外
更新済みおよび新規データのみ 対象
データをインポートしない 対象外
クラウドデータベースクエリのインポート 更新済みおよび新規データのみ 対象
データをインポートしない 対象外
Zoho Creator すべてのデータをインポート 対象外
更新済みおよび新規データのみ 対象
新規データのみ 対象
データをインポートしない 対象外
Zoho Analytics すべてのデータをインポート 対象外
更新済みおよび新規データのみ 適用可能
データをインポートしない 対象外
Zoho CRM すべてのデータをインポート 対象外
更新済みおよび新規データのみ 適用可能
新規データのみ 適用可能
データをインポートしない 対象外
Zoho Bigin 新規データのみ 適用対象
インポートしないデータ 対象外
すべてのデータをインポート 対象外
更新済みおよび新規データのみ 適用対象
Salesforce すべてのデータをインポート 対象外
更新済みおよび新規データのみ 適用対象
新規データのみ 適用対象
インポートしないデータ 対象外
Dataiku(Beta) すべてのデータをインポート 対象外
データをインポートしない 対象外
Zoho Forms(Beta) 新規データのみ 対象
更新済みおよび新規データのみ 対象
データをインポートしない 対象外


Notes
メモ: Zohoアプリケーションの場合、すべてのデータをインポートオプションを選択すると、差出人項目で指定された日付が考慮され、データ範囲は適用されません。データは差出人項目で指定された日付からインポートされます。



関連情報

Zoho DataPrepにおけるさまざまなパイプライン実行についてはこちらをご参照ください






              Zoho Campaigns Resources

                Zoho WorkDrive Resources




                  • Desk Community Learning Series


                  • Digest


                  • Functions


                  • Meetups


                  • Kbase


                  • Resources


                  • Glossary


                  • Desk Marketplace


                  • MVP Corner


                  • Word of the Day


                  • Ask the Experts









                                  • Related Articles

                                  • Zoho DataPrep REST APIのホワイトラベル版

                                    お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。 Zoho DataPrep ホワイトラベル REST APIを使用すると、独立系ソフトウェアベンダー、ソリューション開発者、ビジネスコンサルタントは、自社製品に強力な ETL ...
                                  • 通知

                                    お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。 DataPrep の通知設定を管理できます。通知の差出人や各種設定をカスタマイズ可能です。必要に応じてメール通知やベル通知の有効・無効を切り替えられます。 メモ: パイプラインのスケジュール実行完了とパイプライン手動実行(メールのみ)のトグルはデフォルトで無効になっています。 ...
                                  • Zoho DataPrep REST API

                                    お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。 Zoho DataPrep REST APIのワークスペースは、Zoho DataPrep チームが Postman 上で公開しているコレクションです。このワークスペースは、Zoho DataPrep の API を最大限に活用したい開発者向けの包括的なハブとして機能します。 ...
                                  • パイプラインバックフィル実行

                                    お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。 ...

                                  Resources

                                  Videos

                                  Watch comprehensive videos on features and other important topics that will help you master Zoho CRM.



                                  eBooks

                                  Download free eBooks and access a range of topics to get deeper insight on successfully using Zoho CRM.



                                  Webinars

                                  Sign up for our webinars and learn the Zoho CRM basics, from customization to sales force automation and more.



                                  CRM Tips

                                  Make the most of Zoho CRM with these useful tips.