パイプラインのスケジュール実行
［予約］オプションでは、さまざまな元データからのインポート、加工処理の適用、パイプライン内のエクスポート先へのエクスポートを、一定の間隔で実行するよう予約できます。予約時には、クラウドストレージ、CRM、Creatorなど、さまざまな元データから差分データをインポートすることもできます。差分データのインポートとは、前回の同期後に作成または更新されたデータのみをインポートする方法です。
パイプラインの処理を予約するには
パイプラインの作成
こちらをクリックすると、パイプラインの基本的な作成方法を確認できます。
2. 必要なデータソースからデータを取り込むには、［データを追加する］オプションをクリックします。50種類以上のデータソースについての詳細はこちら。
データのインポートが完了すると、パイプラインの作成画面に移動し、データソースと、それに関連付けられたステージが表示されます。
ステージは、データフローの加工処理を適用しながらデータを処理するためのノードです。データソースからデータをインポートすると、標準でステージが作成されます。
3. ステージを右クリックして、データフローの加工処理を適用できます。
4. ［データを準備］を選択して、DataPrep Studioページを開き、その他のデータの加工処理を確認することもできます。パイプラインの作成画面の各要素については、こちらをクリックしてください。
5. データフローを作成し、各ステージに必要な加工処理を適用したら、ステージを右クリックしてエクスポート先を追加し、データフローを完成させます。
メモ：パイプラインを実行可能な状態にするには、エクスポート先を1件以上追加してください。
データのエクスポート先とは、データをエクスポートする場所です。クラウドデータベースや、Zoho CRM、Zoho Analyticsなどの業務アプリケーションを指定できます。DataPrepで利用できる50種類以上のデータのエクスポート先から、準備したデータのエクスポート先を選択できます。
予約の設定
エクスポート先を追加したら、パイプラインを実行する際は、［実行する］ボタンを使用してみることをお勧めします。実行するたびに、処理として保存されます。パイプラインを実行すると、データソースから取得したデータに、各ステージで設定した一連の加工処理が適用され、その後、エクスポート先にデータがエクスポートされます。この一連の処理は、処理の履歴に記録されます。手動での実行が正常に完了することを確認したら、予約を設定してパイプラインを自動化できます。
パイプラインの作成画面にある［予約］オプションを使用して、パイプラインを予約できます。
1. ［繰り返し］（毎時間、毎日、毎週、毎月）を選択し、［実行頻度］ドロップダウンで間隔を設定します。［実行頻度］ドロップダウンの設定は、繰り返しの設定に応じて変わります。
a）毎時間
［繰り返し］を［毎時間］に設定すると、予約の間隔を1～24時間の範囲で指定するには、［実行頻度］オプションを使用します。
［経過後］—このオプションでは、毎時の特定の分（1～59分）に予約処理を開始できます。初回の予約では、データの範囲は前の区間から現在の区間までとなります。2回目は現在の区間から次の区間までとなり、以降もこのパターンで続きます。
例：現在の日時が2024年5月15日午前10：30で、毎時10分に予約処理を開始する場合は、［実行頻度］オプションを1時間、［経過後］オプションを10分に設定します。予約処理は毎時10分に実行されます。初回の予約処理の範囲は午前10：10～午前11：10、2回目は午前11：10～午後12：10となり、以降も同様に続きます。
処理の実行頻度は、次の画像のとおりです。
b）毎日
［繰り返し］を［毎日］に設定すると、予約の［間隔］を1～31日に設定して繰り返すようにし、各予約を実行する正確な時刻と分を指定できます。初回の予約では、データの範囲は前の区間から現在の区間までとなります。2回目は現在の区間から次の区間までとなり、以降もこのパターンで続きます。
c）毎週
メモ：複数の日を選択することもできます。
例：現在の日時が2024年5月4日（土曜）午後7時30分で、かつ、2週間ごとの日曜午後12時30分に予約を繰り返す場合は、［繰り返し］を［毎週］、［間隔］を［2週間］、曜日を［日］、［実行時刻］を［12時間30分］に設定します。予約は2週間ごとの日曜午後12時30分に実行されます。
初回の予約のデータの範囲は、4月21日（日曜）午後12時30分から5月5日（日曜）午後12時30分までです。2回目は5月5日（日曜）午後12時30分から2週間後までとなり、以降も同様に実行されます。
処理の実行頻度は、次の画像のようになります。
d）毎月
日付
例：現在の日時が2024年1月31日午後11時30分で、かつ、毎月1日の午前12時30分に予約を繰り返す場合は、［繰り返し］を［毎月］、［間隔］を［1か月］に設定し、［日付］を選択します。［日の順序］で［初日から、日付を選択する］を選択して［1日］を指定し、［実行時刻］を［0時間30分］に設定します。予約は毎月、月の初日から数えて1日目の午前12時30分に実行されます。
初回の予約は1月1日午前12時30分から2月1日午前12時30分までです。2回目は2月1日午前12時30分から翌月1日午前12時30分までとなり、以降も同様に実行されます。
処理の実行頻度は、次の画像のようになります。
日
初回の予約では、データの範囲は前の範囲から現在の範囲までとなります。2回目は現在の範囲から次の範囲までとなり、以降の予約も同じパターンで実行されます。
例：現在の日時が2024年1月31日午後11時30分で、かつ、毎月第1月曜の午前12時30分に予約を繰り返す場合は、［繰り返し］を［毎月］、［間隔］を［1か月］に設定し、［日］、［第1］、［月曜］を選択して、［実行時刻］を［0時間30分］に設定します。予約は毎月第1月曜の午前12時30分に実行されます。
初回の予約は1月1日（月曜）午前12時30分から2月5日（月曜）午前12時30分までです。2回目は2月5日（月曜）午前12時30分から3月4日（月曜）午前12時30分までとなり、以降も同様に実行されます。
2. 元データで検出された新しいデータをインポートする際のGMTを選択します。標準では、自分のローカルタイムゾーンが選択されます。
情報：範囲には2～100を指定できます。初期値は2です。
インポート設定
4. 予約を設定する際は、すべての元データについてインポート設定を行う必要があります。インポート設定を行わないと、予約を保存できません。
インポート設定を行うには、［こちらをクリック］リンクを選択します。
インポート設定は、データソースによって異なります。
［データソースからデータをインポートするには？］ドロップダウンから、データのインポート方法として［すべてのデータをインポートする］、［増分ファイルの取得］、［データをインポートしない］のいずれかを選択します。
［すべてのデータをインポートする］
情報：ファイルのバッチサイズに10を超える値は指定できません。この設定は、クラウドストレージ、FTP、ローカルファイルシステムの詳細選択でのみ利用できます。
メモ：Zoho CRM、Salesforce、Zoho Bigin、Zoho Creatorですべてのデータをインポートする場合は、データのインポートを開始する日付を［開始日］項目で選択します。この設定では、予約済みの実行ごとに、選択した日付以降の利用可能なすべてのデータがインポートされます。
例：
データソースにファイルのパターンと一致するファイルが5件あり、バッチサイズを10に設定した場合、最初の予約では、データソース内の作成日時または更新日時に基づいて5件のファイルが取得され、1つのファイルとしてエクスポートされます。
2回目の予約までに、同じファイルのパターンを持つ新しいファイルがデータソースに4件追加された場合/modified、データソース内の作成日時または更新日時に基づいて9件すべてのファイルが取得され、1つのファイルとしてエクスポートされます。
3回目の予約までに新しいファイルがデータソースに11件追加され、データソース内にファイルのパターンと一致するファイルが20件ある場合、バッチサイズが10に設定されているため、データソース内の作成日時または更新日時に基づいて最初の10件のみが取得され、1つのファイルとしてエクスポートされます。以降の予約でも、同じ10件のファイルがデータソースから取得されます。
［増分ファイルの取得］
データソースから増分データをインポートして取得する方法は、［インポート設定］で設定できます。クラウドストレージ、Zoho Creator、Zoho CRM、Zoho Bigin、Salesforce、クラウドデータベース、ローカルデータベース、FTP、ローカルネットワーク上のローカルファイルなどから、増分データをインポートできます。増分データのインポートとは、前回の同期後に新規作成または更新されたレコードをインポートするメソッドです。
増分ファイルの取得では、最初の予約のデータの範囲は前回の範囲から現在の範囲まで、2回目は現在の範囲から次の範囲までとなり、以降の予約でも同様に続きます。
増分ファイルの取得のインポート設定
増分ファイルの取得のインポート設定は、データソースによって異なります。次に、クラウドストレージ、FTP、ローカルファイルシステムで増分ファイルを取得する場合のインポート設定例を示します。
［新しいファイルがない場合は、前回インポートしたファイルを使用する］。
増分インポートでは、
- チェックボックスがオンの場合：データソースに新しいデータがないときは、最後に取得したデータが再度インポートされます。
- チェックボックスがオフの場合：データソースに新しいデータがないときは、インポートが失敗し、ファイルはインポートされません。その結果、パイプライン処理全体が失敗します。
［インポートするファイルは？］この設定では、［すべてのファイル］、［最新のファイル］、または［最も古いファイル］を選択できます。
［すべてのファイル］
［取得基準］：ファイルの並べ替えとインポートの基準にする日時を、［更新日時］または［作成日時］から選択できます。
［ファイルのバッチサイズ］：すべてのファイルを増分インポートする場合のバッチサイズを指定します。ファイルは、指定したデータの範囲内で最初の作成日時または更新日時に基づいて、指定した数ごとにグループ化されます。グループ化されたファイルは1つのファイルとしてインポートされ、予約ごとにエクスポート先へエクスポートされます。
情報：ファイルのバッチサイズに10を超える値は指定できません。この設定は、クラウドストレージ、FTP、ローカルファイルシステムの詳細選択でのみ利用できます。
3回目の予約までに、ファイルのパターンと一致する新しいファイルがデータソースに13件追加された場合、バッチサイズが10に設定されているため、データソース内の作成日時に基づいて最初の10件のみが取得され、1つのファイルとしてエクスポートされます。以降の予約で増分ファイルを取得する場合も、同じ処理が適用されます。
［最新のファイル］
［最も古いファイル］
メモ：1）Zoho CRM、Zoho Creator、Salesforce、Zoho Bigin、ローカルデータベース、クラウドデータベースの場合
最終インポート日時以降に更新または新規追加されたデータを増分インポートするには、［更新または新規追加されたデータのみ］設定を選択します。
2）Zoho CRM、Zoho Creator、Salesforce、Zoho Biginの場合
最終インポート日時以降に新規追加されたデータを増分インポートするには、ドロップダウンから［新規追加されたデータのみ］設定を選択します。
データをインポートしない
データは一度だけインポートされます。2回目は、同じデータにルールが適用され、エクスポートされます。
クラウドストレージでのシンプル選択のインポート設定
| 元データからのデータのインポート方法 |
| データソースのファイルをインポートする |
| データをインポートしない |
クラウドストレージでの詳細選択のインポート設定
| 元データからのデータのインポート方法 |
| すべてのデータをインポートする |
| 増分ファイルの取得 すべてのファイル 最新のファイル 最も古いファイル |
| データをインポートしない |
データブリッジを使用しないデータソースのインポート設定
| 元データからのデータのインポート方法 |
| データソースのファイルをインポートする メモ：［ファイルをアップロードする］設定を使用すると、インポートする新しいデータソースのファイルをアップロードできます。不明なファイル形式を解析するには、［ファイルの解析形式］設定を使用できます。 |
| データをインポートしない |
| データソースのファイルをインポートする |
| データをインポートしない |
| すべてのデータをインポートする |
| データをインポートしない |
| データソースのファイルをインポートする |
| データをインポートしない |
データブリッジを使用するデータソースのインポート設定
| 元データのインポート方法 |
| すべてのデータをインポートする |
| 増分ファイルの取得 すべてのファイル 新しいファイル 古いファイル |
| データをインポートしない |
| すべてのデータをインポートする |
| 更新されたデータと新しいデータのみ |
| データをインポートしない |
| すべてのデータをインポートする |
| 増分ファイルの取得 すべてのファイル 新しいファイル 古いファイル |
| データをインポートしない |
アプリとクラウドデータベースのインポート設定
4. ［保存する］をクリックして、パイプラインのインポート予約設定を保存します。
予約設定
エクスポートの順番
有効にしない場合、エクスポートは標準の順番で実行されます。
メモ：この設定は、パイプラインに複数のエクスポート先を追加した場合にのみ表示されます。
エクスポート先の順番を変更するには
1) ［エクスポートの順番］の切り替えボタンをクリックします。
失敗時のその他のユーザーへの通知
5. 予約の設定が完了したら、［保存する］をクリックして予約を実行します。これにより、パイプラインが開始されます。
予約済みの実行は、それぞれ処理として保存されます。パイプラインを予約すると、データソースからデータが取得され、各ステージに適用済みの一連の加工処理によって処理された後、一定の間隔でエクスポート先にデータがエクスポートされます。この一連のプロセスは、処理の履歴に記録されます。
6. 特定のパイプラインの処理リストに移動するには、パイプラインの作成画面にある三点リーダーアイコンをクリックし、［処理の履歴］メニューをクリックして、パイプラインの処理ステータスを確認します。
7. ［処理の履歴］ページで、確認する処理IDをクリックすると、［処理の履歴］ページから対象の処理の［処理の概要］に移動します。
［処理の概要］には、パイプラインフローで実行された処理の履歴が表示されます。こちらをクリックすると、詳細を確認できます。
［処理の概要］ページでは、予約のステータスを確認できます。DataPrepの予約済みの処理には、［実行中］、［成功］、［失敗］の3つのステータスがあります。
処理が失敗した場合は、［処理の概要］ページで、エラーがインポートステージ、加工ステージ、エクスポート先、データ構造の照合のいずれで発生したかを確認できます。失敗した項目にカーソルを合わせるとエラーの詳細を確認できます。エラーを修正してエクスポートを続けます。
［概要］タブでは、実行ステータスに加えて、パイプラインを実行したユーザー、使用中の容量、処理した行の合計、開始日時、終了日時、実行期間などの詳細を確認できます。こちらをクリックすると、詳細を確認できます。
［ステージ］タブでは、インポート、加工、エクスポートなど、パイプラインの各ステージの詳細を確認できます。こちらをクリックすると、詳細を確認できます。
［出力］タブには、エクスポートされたすべてのデータのリストが表示されます。必要に応じて、出力結果をダウンロードすることもできます。こちらをクリックすると、詳細を確認できます。
メモ：実行したすべての処理は［処理の履歴］に保存されるため、後から［処理］ページで各パイプラインの実行ステータスを確認できます。
8. 予約が完了すると、パイプラインで処理されたデータが、設定済みのエクスポート先にエクスポートされます。
情報：予約のステータスは、後から［処理］ページでも確認できます。
メモ：その後、パイプラインにさらに変更を加えると、変更内容は下書きバージョンとして保存されます。変更を予約に反映するには、［下書き］を選択し、パイプラインを準備完了として設定します。
予約を設定した後、パイプラインの作成画面の［予約の一時停止］または［予約の再開］を選択したり、［予約の編集］や［予約の削除］を行ったりできます。これらの操作には、［予約の有効化］設定を使用します。
よくある質問
1. 複数のパイプラインを毎時間の予約で順番に実行し、それぞれの間隔を一定にする必要があります。正しく予約するにはどうすればよいですか？
メモ：［経過分］設定は毎時間の予約でのみ利用できるため、以下の内容は毎時間の予約にのみ該当します。
重要なのは、各パイプラインの次回実行日時が、そのパイプラインを保存した時点を基準に計算されることです。設定した分と一致する次の時刻が特定され、それ以降、そのパイプラインは各サイクルで同じ分単位のオフセットを保持して実行されます。
すべてのパイプラインを一度に設定すると、いずれかのパイプラインが他より先に実行され、実行順が崩れる可能性があるため、注意が必要です。
たとえば、現在の時間が午前7時30分、実行間隔が2時間ごとで、3つのパイプラインを8時、8時20分、8時40分に実行するとします。この時点で、それぞれ毎時00分、20分、40分に設定すると、次のように実行されます。
- パイプライン1（00分）は午前8時に実行されます
- パイプライン2（20分）は午前8時20分に実行されます
- パイプライン3（40分）は午前7時40分に実行されます
午前7時30分以降で最初に訪れる40分の時刻は午前7時40分であるため、パイプライン3が最初に実行されます。その結果、実行順が崩れます。
これを解決するには、次の2つの方法があります。
方法1：各パイプラインの実行予定時刻を過ぎてから、1つずつ設定します。
- この時点で、パイプライン1を00分に設定します。午前8時に実行されます。
- 午前8時を過ぎてから、パイプライン2を20分に設定します。午前8時20分に実行されます。
- 午前8時20分を過ぎてから、パイプライン3を40分に設定します。午前8時40分に実行されます。
これにより、すべてのサイクルで3つのパイプラインが同じ時間帯に順番に実行されます。実行時刻は、8時、8時20分、8時40分、続いて10時、10時20分、10時40分となります。ただし、各設定の保存の間に待つ必要があります。
方法2：保存の間に待つことなく、すぐに正しい順序で実行されるよう、オフセットをずらします。午前7時30分の時点で、次のように設定します。
- パイプライン1を40分に設定します。午前7時40分に実行されます。
- パイプライン2を00分に設定します。午前8時に実行されます。
- パイプライン3を20分に設定します。午前8時20分に実行されます。
この方法では、待つことなく正しい順序で実行できますが、実行時刻は時間帯をまたぎます。実行時刻は、7時40分、8時、8時20分、続いて9時40分、10時、10時20分となります。パイプライン1は、常に前の時間帯の40分に実行されます。
どちらの方法でも、パイプライン間の間隔を一定に保ちながら、正しい順序で実行できます。1つの時間帯に収まる分かりやすい実行時刻にする場合は方法1、待たずにすぐ正しい順序で実行する場合は方法2を選択します。
関連情報
- Zoho Workerly Home
- Forums
- Connect With Us:
- Zoho Recruit Home
- Forums
- Connect With Us:
