スケジュールオプションは、さまざまなデータソースから差出人をインポートし、変換を適用して、通常の間隔でパイプラインの宛先にエクスポートするために使用されます。また、スケジューリング時にクラウドストレージ、CRM、Creator などのさまざまなソースからインクリメンタルデータをインポートすることも可能です。インクリメンタルデータのインポートは、前回の同期以降に新規または更新されたデータを取り込む方法です。

パイプラインでスケジュールを実行する方法

パイプラインの作成

こちらをクリックすると、パイプラインの作成方法をご確認いただけます。

2. データ追加オプションをクリックし、必要なデータ元からデータを取り込みます。50以上のデータソースについての詳細はこちらをご覧ください。

データのインポート後、自動的にパイプラインビルダーにリダイレクトされ、データ元とそれにリンクされたステージが表示されます。

ステージとは、データフローの変換を適用しながらデータを処理するために作成されるノードです。データ元からインポートされたデータには、デフォルトでステージが作成されます。

3. ステージを右クリックして、データフロー変換を適用できます。

4. データ準備を選択して、DataPrep Studioページを開き、その他のデータ変換を確認することもできます。パイプラインビルダーの各要素については、こちらをクリックしてください。.

5. データフローの作成と、各ステージで必要な変換の適用が完了したら、ステージを右クリックして、データフローを完成させるために宛先を追加できます。

データ宛先とは、データをエクスポートしたい場所のことです。クラウドデータベースや、Zoho CRM、Zoho Analyticsなどの法人アプリケーションなどが該当します。DataPrepでは、50以上のデータ宛先の標準出力から目的の宛先を選択し、準備したデータをエクスポートできます。

スケジュール設定

宛先追加後、パイプラインを実行ボタンでテストすることをおすすめします。各実行はジョブとして保存されます。パイプラインの実行時、データソースから取得したデータは各ステージで申請した変換処理が行われ、最終的に宛先へエクスポートされます。この一連の処理はジョブ履歴に記録されます。手動実行で問題がないことを確認したら、スケジュールを設定してパイプラインを自動化できます。

 パイプラインビルダーのスケジュールオプションから、パイプラインのスケジュール設定が可能です。

1. 繰り返し方法（毎時間、毎日、週次、月次）を選択し、実行頻度ドロップダウンで頻度を設定します。実行頻度ドロップダウンの設定は、選択した繰り返し方法によって変わります。 

a) 毎時間 

繰り返し方法が毎時間に設定されている場合、Perform 頻度オプションを使用して、1～24時間の間隔でスケジュールの間隔を指定できます。
 
Past the hour - このオプションを使うと、1～59分の範囲で毎時の特定の分にスケジュールを開始できます。最初のスケジュールでは、データ間隔は前回から現在のデータ間隔までとなり、2回目以降は現在の間隔から次の間隔までというように継続されます。

例:現在の時間が2024年5月15日 10:30 A.M.で、毎時10分にスケジュールを開始したい場合、Perform 頻度オプションを1時間、past the hourオプションを10分に設定します。スケジュールは毎時10分に1時間ごとに実行され、最初のスケジュールは10:10 A.M.～11:10 A.M.、2回目は11:10 A.M.～12:10 P.M.というように続きます。

ジョブの頻度は以下の画像のようになります。

b) 毎日 

繰り返し方法を毎日に設定すると、スケジュールを頻度1日から31日までの任意の日数ごとに、開始時刻と分を指定して繰り返すように設定できます。最初のスケジュールでは、データの期間は前回から現在までとなり、2回目のスケジュールでは現在から次回まで延長され、その後も同様のパターンで実行されます。

 c) 週間 

例: 現在 時間が2024年5月4日（土）19:30の場合、スケジュールを2週間ごとに日曜日12:30に繰り返したい場合は、繰り返しオプションを「毎週」、頻度オプションを「2週間ごと・日曜」、Perform atオプションを「12時30分」に設定します。スケジュールは2週間ごとに日曜日12:30に実行されます。

最初のスケジュールのデータ区間は、4月21日（日）12:30から5月5日（日）12:30までとなり、2回目のスケジュールは5月5日（日）12:30から次の2週間へと続きます。

ジョブの実行頻度は、下記の画像の通りです。

 d) 月間 

 
日付 

例: 現在 時間が2024年1月31日、午後11時30分の場合、スケジュールを毎月1日の午前0時30分に繰り返し実行したい場合は、繰り返しオプションを「月間」に設定し、頻度オプションを「1か月」、日付を選択し、Day 順番オプションで差出人 beginning, 選択する 日を「1日目」として、Perform atオプションを「+10、-10 時間30分」に設定します。これにより、毎月の初日、月の始まりから午前0時30分にスケジュールが実行されます。

最初のスケジュールは1月1日午前0時30分から2月1日午前0時30分まで、2回目のスケジュールは2月1日午前0時30分から来月1日午前0時30分までとなり、以降も同様に繰り返されます。

ジョブの頻度は以下の画像のようになります。

Day

2. インポートしたいデータ元に新しく見つかったデータのGMTを選択します。初期設定では、ローカルタイムゾーンが選択されています。

メモ: このオプションは、ユーザーがすべてのデータをデータ元からインポートする場合に推奨されます。スケジュールが2回またはそれ以上失敗すると、自動的に一時停止し、原因を調査し解決した後で再開できます。ただし、このオプションは増分データインポートには適していません。なぜなら、スケジュール実行時に新しいデータがない場合があり、これは想定された動作であり失敗とはみなされません。

インポート設定 

4. スケジュールを設定する際は、すべてのデータ元についてインポート設定を必ず行う必要があります。インポート設定を行わなければ、スケジュールは保存できません。

インポート設定を行うには、ここをクリックリンクを選択してください。

インポート設定は、データ元ごとに異なります。

データ元からデータをインポートする方法ドロップダウンから、データのインポート方法を選択してください - すべてのデータをインポート、増分ファイル取得、データをインポートしないのいずれかです。

すべてのデータをインポート

例:
データ元にファイルパターンに一致する5つのファイルがあり、バッチサイズを10に設定した場合、これら5つのファイルは一つのファイルとして取得・エクスポートされます（作成または更新日時に基づく）。

2回目のスケジュールで、同じファイルパターンに一致する新規4ファイルがデータ元で追加・更新された場合、合計9ファイルが一つのファイルとして取得・エクスポートされます（作成または更新日時に基づく）。

 

3回目のスケジュールで新たに11ファイルがデータ元に追加され、データ元にファイルパターンに一致するファイルが合計20件になった場合でも、バッチサイズが10に設定されているため、最初の10ファイルのみが取得・エクスポートされます（作成または更新日時に基づく）。同じ10ファイルが今後のスケジュールでもデータ元から取得されます。

 

増分ファイル取得 

インポート設定オプションを使用して、データ元からどのようにインポート・取得するかを設定できます。クラウドストレージ、Zoho Creator、Zoho CRM、Zoho Bigin、Salesforce、クラウドデータベース、ローカルデータベース、FTP、ローカルネットワーク上のローカルファイルなどのソースから増分データのインポートが可能です。増分データインポートは、前回の同期以降に新規追加または更新されたデータをインポートする方法です。

増分ファイル取得では、最初のスケジュールのデータ間隔は前回から現在までとなり、2回目以降のスケジュールは現在から次回へと延長され、このパターンで取得が繰り返されます。

 

 

インポートする設定（増分ファイル取得の場合）

増分取得のインポートする設定は、データソースごとに異なります。以下は、クラウドストレージ、FTP、ローカルファイルシステムにおける増分取得のインポートする設定の例です。

新規ファイルが利用可能でない場合、前回インポートしたファイルを使用する： 

1. チェックボックスがオンの場合：データ元に新規データがない場合、最後に取得したデータが再度インポートされます。
2. チェックボックスがオフの場合：データ元に新規データがない場合、インポートするは失敗し、ファイルはインポートされません。その結果、パイプラインジョブ全体が失敗します。

 

どのファイルをインポートするか？インポートするファイルとしてすべてのファイル、最新のファイル、または最も古いファイルをこのオプションで選択できます。

すべてのファイル

3回目のスケジュールで、ファイルパターンに一致する新規ファイルが13件追加された場合は、バッチサイズが10に設定されているため、最初の10件のみがデータ元の作成時間に基づきまとめて取得・エクスポートされます。同様のロジックが今後の増分取得スケジュールにも適用されます。

最新ファイル

最古ファイル

 データをインポートしない 

 

 データは一度だけインポートされます。2回目以降は同じデータにルールが適用され、エクスポートされます。

 

4. 保存をクリックして、スケジュールインポートの設定を保存します。

スケジュール設定

データ品質が100%未満の場合、エクスポートを停止する: データ品質が100パーセント未満の場合にエクスポートを停止したい場合、このトグルを使用できます。

エクスポートの順番

エクスポート先の順番を並べ替えるには

1）順番 exportsトグルをクリックします。

5. スケジュールの設定が完了したら、保存をクリックしてスケジュールを実行します。これでパイプラインが開始されます。

スケジュール実行ごとにジョブとして保存されます。パイプラインがスケジュールされると、データはデータソースから取得済み、各ステージで申請済みの変換処理が適用され、最終的にデータはエクスポート済みで指定先へ通常の間隔で送信されます。この完了プロセスは、ジョブ履歴に記録されます。
6. 特定のパイプラインのジョブ一覧に移動するには、パイプラインビルダーの三点リーダーアイコンをクリックし、ジョブ履歴メニューをクリックして、パイプラインのジョブステータスを確認します。

7. 必須のジョブIDを ジョブ履歴ページでクリックすると、特定ジョブのジョブ概要へ移動できます。

ジョブ概要では、パイプラインフローで実行されたジョブの履歴が表示されます。こちらをクリックして詳細をご覧ください。

ジョブ概要ページでは、スケジュールのステータスを表示することができます。DataPrepのスケジュールジョブには、「実行中」「完了」「失敗」の3つのステータスがあります。

ジョブが失敗した場合、インポートするステージ、変換ステージ、または送信先やターゲットマッチングのどこでエラーが発生したかを、ジョブ概要ページで特定できます。失敗項目にカーソルを合わせると、エラーの詳細が表示され、内容を修正してエクスポートを続行できます。

「概要」タブでは、パイプライン実行のステータスと、実行ユーザー、ストレージ使用量、処理済み合計行数、開始時間、終了時間、実行時間などの詳細を表示できます。 こちらをクリックして詳細をご覧ください。

「Stages」タブでは、各パイプラインステージの詳細（インポート、Transform、エクスポート）を確認できます。 こちらをクリックして詳細をご覧ください。

「Output」タブでは、エクスポート済みデータの一覧を確認できます。また、必要に応じて出力データをダウンロードすることも可能です。こちらをクリックして詳細をご覧ください。

8. スケジュールが完了すると、パイプラインで準備されたデータは設定済みの宛先にエクスポートされます。

スケジュールを設定した後、パイプラインビルダーのSchedule 有効オプションを使って、schedule を一時停止、schedule を再開、schedule を編集、schedule を削除できます。

スケジュールを編集して保存すると、次回のジョブは前回のスケジュール実行時刻から次のスケジュール済みデータ間隔で実行されます。

関連情報

パイプライン - バックフィル実行

パイプライン - 手動実行

DataPrep のジョブについて参照

Zoho DataPrep のデータソース

DataPrep でのエクスポート先