パイプラインのバックフィル実行

パイプラインのバックフィル実行

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

バックフィルの実行では、データモデルやデータ準備ワークフローの変更により、以前の予約で処理されなかったデータを処理できます。これにより、実行できなかった予約分を補完したり、特定の期間内のデータをインポートしたり、処理を予約せずに増分データを手動で取得したりできます。バックフィルの実行時には、データの範囲を指定する必要があります。

Notesメモ:バックフィルは、最新版が下書きであっても、パイプラインの最新版で実行されます。以前のバージョンでバックフィルを実行する場合は、そのバージョンを復元してからバックフィルを実行できますバージョンの詳細はこちら

 パイプラインでバックフィルを実行するには 

1. パイプラインを開き、パイプラインの作成画面に移動します。こちらをクリックすると、パイプラインを初めて作成する方法を確認できます。

2. 必要なデータソースからデータを取り込むには、[データを追加するオプション]をクリックします。50以上のデータソースについては、詳細をご確認ください。データを増分インポートするには、[詳細選択]オプションをクリックします。

 

 増分取得  

詳細選択オプションを使用すると、データを増分インポートできます。正規表現に基づいて、ファイルを動的に選択できます。これにより、データソースから新規データや増分データを取得できます。上の画像では、ファイルのパターンに一致する新しく追加または更新されたファイルが、OneDriveフォルダーから取得されます。

必要な詳細は次のとおりです。
[フォルダーを選択する]:データのインポート元となるフォルダーを選択します。
[フォルダーのパス]:ファイルを検索するフォルダーのパスです。例:Incremental_fetch/
ファイルがフォルダーに格納されず、ドライブ直下にある場合は、この項目を空のままにできます。
Info情報:フォルダーのパスでは、大文字と小文字が区別されます。

[サブフォルダーを含める]:ファイルの検索時にサブフォルダーも対象にする場合は、[サブフォルダーを含める]のチェックボックスを選択します。
[ファイルのパターン]:アカウント内のファイル名との照合に使用するパターンです。正規表現による照合に対応しています。パターン「.*」を使用すると、指定したパス内のすべてのファイルと照合できます。
Info情報:ファイルのパターンでは、大文字と小文字が区別されます。

メモ:ファイルのパターンは、単純な正規表現で照合されます。たとえば、Sales_2022.csv、Sales_2023.csv、Sales_2024.csvなどのファイル名を持つファイルを取得するには、パターンとしてSales_.*と入力します。
同様に、PublicData1.csv、PublicData2.csv、PublicData3.csvなどのファイルを取得するには、Public.*を使用します。
1件のファイルをインポートする場合は、正確なファイル名を使用してパターンを指定します。
例:leads_jan_2022.*
[ファイルの解析方法]:ファイルの解析に必要な拡張子を選択します。一般的でないファイル形式の場合は、データをインポートする前に、このオプションを使用して読み取り可能な形式に解析できます。利用可能な形式は、CSV、TSV、JSON、XML、TXTです。
[ファイルの統合とインポート]:初回のインポート時に、指定したパターンに一致するすべてのファイルを統合し、1件のデータセットとしてインポートします。このオプションで統合できるファイルは最大5件です。
Notesメモ:このチェックボックスを選択しない場合、一度に取得されるファイルは1件のみです。

例:OneDriveアカウントに5件のファイルがある場合、5件すべてが1件のデータセットに統合され、インポートされます。
3. データのインポート後、パイプラインの作成画面に移動します。ここには、データソースと、それに関連付けられたステージが表示されます。
ステージは、データフローの加工処理を適用しながらデータを処理するために作成されるノードです。データソースからインポートされた各データセットには、標準でステージが作成されます。
4. ステージを右クリックして、データフローの加工処理を適用できます。
5. また、[データの準備]を選択して、DataPrep Studioページを開き、その他のデータの加工処理を確認できます。パイプラインの作成画面の各要素については、こちらをご確認ください。
6. データフローを作成し、各ステージに必要な加工処理を適用したら、ステージを右クリックしてエクスポート先を追加し、データフローを完成させます。 
7. データのエクスポート先は、処理したデータの出力先です。ローカルデータベースや、Zoho CRM、Zoho Analyticsなどの業務アプリケーションを指定できます。DataPrepで利用できる50以上のデータのエクスポート先から任意のエクスポート先を選択し、準備したデータをエクスポートできます。


6. パイプラインにエクスポート先を追加したら、[実行]のドロップダウンから[バックフィルの実行]を選択します。

 設定 

  • [データの品質が100%未満に低下した場合にエクスポートを停止]:データの品質が100%未満に低下した場合にエクスポートを停止するには、この切り替えボタンを使用します。
  • [エクスポート順]:複数のエクスポート先を設定している場合、このオプションを使用して、各エクスポート先にデータをエクスポートする順序を指定できます。
Notesメモ:このオプションは、パイプラインに複数のエクスポート先を追加した場合にのみ表示されます。


データの更新設定 

データの更新設定では、バックフィルの実行時に新しいデータを取得する方法を設定できます。たとえば、毎月、指定した日時にデータを取得できます。

Notes
メモ:データの範囲が適用される条件については、インポート設定の表を確認してください。


範囲の追加
時間の範囲を指定するには、次の詳細を入力します。
[範囲を選択する] - 範囲の設定(指定日時以降、指定期間内)を選択します。
[繰り返しの間隔] - 実行頻度(毎時間、毎日、毎週、毎月)を選択します。この項目で選択した設定に応じて、その他の設定をさらに指定できます。 
[間隔] - 処理の実行頻度を設定します。たとえば、2024年6月5日から2024年6月10日まで2日ごとにデータをインポートする場合、この項目で[2日]を選択します。
メモ:この設定は、[繰り返しの間隔]の項目で[毎日]、[毎週]、[毎月]のいずれかを選択した場合にのみ表示されます。
[実行時間]:データをインポートする時間を設定します。たとえば、[1時間]に設定すると、処理は毎日午前1時に実行され、データがインポートされます。

処理の実行頻度も確認できます。ここには、データがインポートされる時間の範囲が表示されます。指定した各範囲に対して処理が実行されます。


  

 

 インポート設定 

Info情報:次の設定はクラウドストレージサービスに適用されます。インポート設定は、選択したデータソースによって異なる場合があります。その他のデータソースについては、以下のインポート設定の表を参照してください。

[データソースからデータをインポートするには?]この設定で、データのインポート方法を選択します。

[すべてのデータをインポートする]

指定したパターンに一致するすべてのデータがインポートされます。
[ファイルのバッチサイズ]:この項目で指定した数のファイルが、1つのファイルとしてインポートされます。たとえば、元データに10個のファイルがあり、[ファイルのバッチサイズ]に「10」を指定すると、10個すべてのファイルが1つのファイルとしてインポートされます。

Notes
メモ:[ファイルのバッチサイズ]に指定できる最大値は10です。

[増分ファイルの取得] 

[増分ファイルの取得] - この設定を使用すると、指定したパターンに一致するデータを増分方式で取得できます。増分データ取得とは、前回の同期後に元データへ追加された新しいファイルをインポートする方法です。

[新しいデータがない場合は前回インポートしたデータを使用する。] 

増分インポート時の動作は次のとおりです。

  1. チェックボックスが選択されている場合:元データに新しいデータがない場合、前回取得したデータが再度インポートされます。
  2. チェックボックスが選択されていない場合:元データに新しいデータがない場合、インポートは失敗し、ファイルはインポートされません。その結果、パイプライン全体の処理も失敗します。

[インポートするファイル]
次のいずれかの設定を選択します。

[すべてのファイル] - [取得基準]の項目で選択した設定に基づいて、すべてのファイルがインポートされます。
[最新のファイル] - [取得基準]の項目で選択した設定に基づいて、最新のファイルがインポートされます。
[最も古いファイル] - [取得基準]の項目で選択した設定に基づいて、最も古いファイルがインポートされます。
[取得基準] - 作成日時または更新日時に基づいてファイルが取得されます。たとえば、最初に作成されたファイルを取得するには、[作成日時]を選択し、[インポートするファイル]の項目で[最も古いファイル]を選択します。
[ファイルのバッチサイズ]この項目で指定した数のファイルが、1つのファイルとしてインポートされます。たとえば、元データに10個のファイルがあり、[ファイルのバッチサイズ]に「10」を指定すると、10個すべてのファイルが1つのファイルとしてインポートされます。

Notes
メモ:[ファイルのバッチサイズ]に指定できる最大値は10です。

増分取得の例
作成日時に基づいて、2024年6月5日午前12時から2024年6月10日午前12時までのすべてのデータをインポートする場合を例に説明します。設定例は次のとおりです。この設定により、2024年6月5日午前12時から2024年6月10日午前12時までに作成されたすべてのデータがインポートされます。

[データをインポートしない] 

この設定では、新しいデータはインポートされません。元データのファイルが使用されます。
インポート設定を指定した後、[保存する]をクリックします。
8. 設定とデータの更新設定を確認し、バックフィルを実行するには、[実行する]をクリックします。パイプラインが開始され、[処理]ページが開きます。各時間範囲の処理が順番に実行されます。[処理]ページには、実行中の処理とそのステータスのリストが表示されます。DataPrepの処理には、[開始済み]、[成功]、[失敗]の3つのステータスがあります。 

[処理]をクリックして開くと、[処理の概要]ページで開始日時、終了日時、処理の所要時間などの詳細を確認できます。[処理の概要]には、パイプラインフローで実行された処理の履歴が表示されます。こちらをクリックすると、詳細を確認できます。

[概要]タブでは、実行のステータスに加えて、パイプラインを実行したユーザー、使用したストレージ容量、処理した行の合計、実行の開始日時、終了日時、実行時間などの詳細を確認できます。こちらをクリックして詳細をご確認ください。

[ステージ]タブでは、インポート、加工、エクスポートなど、パイプラインの各ステージの詳細を確認できます。こちらをクリックして詳細をご確認ください。

 

[出力]タブでは、エクスポートされたすべてのデータのリストを確認できます。必要に応じて、出力をダウンロードすることもできます。こちらをクリックして詳細をご確認ください。

8. バックフィルの実行が完了すると、準備されたデータが設定済みのエクスポート先にエクスポートされます。

クラウドストレージで簡易選択を使用する場合のインポート設定

正規表現のパターンを使用しないデータのインポートは、簡易選択と呼ばれます。簡易選択メソッドを使用してクラウドストレージサービスからデータをインポートする場合は、次の設定を参照してください。

データソース データソースからのインポート方法 データ間隔の適用可否
クラウドストレージ データソースのファイルをインポートする 適用対象外
データをインポートしない 適用対象外

クラウドストレージで詳細選択を使用する場合のインポート設定

Zoho DataPrepでは、詳細選択設定を使用してデータをインポートできます。詳細選択を使用すると、正規表現のパターンに基づいてファイルを動的に選択できます。詳細選択メソッドを使用してデータをインポートする場合は、次の設定を参照してください。

データソース データソースからのインポート方法 データ間隔の適用可否
クラウドストレージ すべてのデータをインポートする 適用対象外
増分ファイルの取得
すべてのファイル
最新のファイル
最古のファイル
適用対象
データをインポートしない 適用対象外


データブリッジを使用しないデータソースのインポート設定

Zoho Databridgeを使用せずに次のデータソースからデータをインポートする場合は、次の設定を参照してください。

データソース データソースからのインポート方法 データ間隔の適用可否
ローカルファイル データソースのファイルをインポートする
メモ:[ファイルをアップロードする]設定を使用すると、インポートする新しいデータソースのファイルをアップロードできます。不明なファイル形式を解析するには、[ファイルの解析形式]設定を使用できます。
適用対象外
データをインポートしない 適用対象外
URL データソースのファイルをインポートする 適用対象外
データをインポートしない 適用対象外
ローカルデータベース すべてのデータをインポートする 適用対象外
データをインポートしない 適用対象外
FTPサーバー データソースのファイルをインポートする 適用対象外
データをインポートしない 適用対象外

データブリッジを使用するデータソースのインポート設定

Zoho DataPrepでは、Zoho Databridgeを使用してローカルネットワークからデータをインポートできます。Zoho Databridgeを使用して次のデータソースからデータをインポートする場合は、次の設定を参照してください。

データソース 元データからのデータのインポート方法 データ間隔の適用可否
ローカルファイル すべてのデータをインポートする 適用対象外
増分ファイルの取得
すべてのファイル
最新のファイル
最古のファイル
適用対象
データをインポートしない 適用対象外
ローカルデータベース すべてのデータをインポートする 適用対象外
更新されたデータと新しいデータのみ 適用対象
データをインポートしない 適用対象外
FTPサーバー すべてのデータをインポートする 適用対象外
増分ファイルの取得
すべてのファイル
最新のファイル
最古のファイル
適用対象
データをインポートしない 適用対象外

アプリとクラウドデータベースのインポート設定

以下のアプリまたはクラウドデータベースからデータをインポートする場合は、以下の設定を参照してください。

データソース
元データからのデータのインポート方法
データの間隔の適用可否
クラウドデータベース すべてのデータをインポートする 適用対象外
更新されたデータと新しいデータのみ 適用
データをインポートしない 適用対象外
クラウドデータベースのクエリーのインポート 更新されたデータと新しいデータのみ 適用
データをインポートしない 適用対象外
Zoho Creator すべてのデータをインポートする 適用対象外
更新されたデータと新しいデータのみ 適用
新しいデータのみ 適用
データをインポートしない 適用対象外
Zoho Analytics すべてのデータをインポートする 適用対象外
更新されたデータと新しいデータのみ 適用
データをインポートしない 適用対象外
Zoho CRM すべてのデータをインポートする 適用対象外
更新されたデータと新しいデータのみ 適用
新しいデータのみ 適用
データをインポートしない 適用対象外
Zoho Bigin 新しいデータのみ 適用
データをインポートしない 適用対象外
すべてのデータをインポートする 適用対象外
更新されたデータと新しいデータのみ 適用
Salesforce すべてのデータをインポートする 適用対象外
更新されたデータと新しいデータのみ 適用
新しいデータのみ 適用
データをインポートしない 適用対象外
Dataiku(ベータ版) すべてのデータをインポートする 適用対象外
データをインポートしない 適用対象外
Zoho Forms(ベータ版) 新しいデータのみ 適用
更新されたデータと新しいデータのみ 適用
データをインポートしない 適用対象外

利用例 

 バックフィルの実行を使用して、インポートできなかったデータをインポートするには 

たとえば、Google ドライブからデータを取得するため、2024年6月1日に毎時間のスケジュール実行を設定したものの、午前3時から午前4時までの特定の時間帯で処理に失敗し、データがインポートされなかったとします。バックフィルを実行し、次の手順で該当するデータをインポートできます。
  1. パイプラインでバックフィルを実行するには」のセクションに記載されている手順1~6を実行します。[データの更新設定]に、次の値を入力します。
  2. 範囲内]を[範囲を選択]のドロップダウンから選択します。
  3. 開始日時]項目で「2024年6月1日午前3:00」を選択し、終了日時]項目で「2024年6月1日午前4:00」を選択します。
  4. 繰り返し]メソッドで[毎時間]を選択します。
  5. 実行間隔]項目で、時間間隔として[1時間]を選択します。
  6. 処理の実行間隔を確認する場合は、処理の頻度を表示します。
  7. インポート元からのデータのインポート方法]項目で、すべてのデータをインポートする設定を選択します。次の操作も可能です。
  8. 必要に応じてバッチサイズを入力します。ただし、10以下に設定してください。
  9. 保存]をクリックし、パイプラインを実行します。
 
これで、2024年6月1日午前3:00から2024年6月1日午前4:00までの時間帯に作成されたデータが、エクスポート先にエクスポートされます。

Notes
メモ:複数のスケジュールでデータのインポートに失敗した場合も、同じ方法を使用できます。インポートに失敗した時間帯ごとに、上記と同じ手順でバックフィルを実行する必要があります。

 

関連情報

パイプラインの手動での実行

DataPrepの処理について





              Zoho Campaigns Resources

                Zoho WorkDrive Resources




                  • Desk Community Learning Series


                  • Digest


                  • Functions


                  • Meetups


                  • Kbase


                  • Resources


                  • Glossary


                  • Desk Marketplace


                  • MVP Corner


                  • Word of the Day


                  • Ask the Experts









                                  Resources

                                  Videos

                                  Watch comprehensive videos on features and other important topics that will help you master Zoho CRM.



                                  eBooks

                                  Download free eBooks and access a range of topics to get deeper insight on successfully using Zoho CRM.



                                  Webinars

                                  Sign up for our webinars and learn the Zoho CRM basics, from customization to sales force automation and more.



                                  CRM Tips

                                  Make the most of Zoho CRM with these useful tips.