お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の
英語版を参照してください。
増分データ取得は、元データから新規または更新済みのファイルをインポートするためのメソッドです。Zoho DataPrepでは、Zoho Databridgeを使用してローカルファイルから増分データをインポートできます。
DataPrepでは、CSV、TSV、JSON、XML、TXTなど、さまざまなファイルの種類を増分インポートできます。
メモ：
1. DataPrepでは、拡張子のないファイルや書式なしテキスト形式のファイルもサポートしています。ただし、バイナリファイルはインポート時に解析できないため、上記のサポート対象形式のいずれかに手動で変換する必要があります。
2. インポートでサポートされるローカルファイルの最大サイズは100MBです。その他の技術上の制限の詳細はこちら。
インポートを開始するには
1. 既存のパイプラインを開くか、パイプラインを作成し、［ホーム］ページ、［パイプライン］タブ、または［ワークスペース］タブで［データを追加］をクリックします。
情報：パイプラインの作成画面上部にある［データをインポート］
アイコンをクリックして、複数の元データからパイプラインにデータを取り込むこともできます。
2. ローカルファイルをインポートするには、［ファイル］オプションを、［元データを選択］から選択します。また、左ペインの［ファイル］カテゴリーをクリックし、［ファイル］を選択することもできます。
増分データのインポート
3. ローカルファイルを増分インポートするには、［ローカルネットワークからインポート］の切り替えスイッチを有効にします。
情報：ローカルファイルをインポートするには、使用中のマシンにZoho Databridgeがインストールされていることを確認してください。
こちらをクリックすると、Zoho Databridgeをダウンロードしてインストールする方法を確認できます。
4. 有効なデータブリッジを選択し、次の詳細を入力します。
［フォルダーのパス］：ファイルを検索するフォルダーのパスです。例：D:\DataPrep\Datasets
情報：フォルダーのパスでは大文字と小文字が区別されます。
［サブフォルダーを含める］：ファイルの検索時にサブフォルダーを含める場合は、このチェックボックスを選択します。
［ファイルのパターン］：指定した場所にあるファイル名との照合に使用するパターンです。正規表現による照合に対応しています。また、パターン「.*」を使用すると、指定したパス内のすべてのファイルと照合できます。
情報：ファイルのパターンでは大文字と小文字が区別されます。
メモ：ファイルのパターンには、単純な正規表現による照合が使用されます。たとえば、Sales_2022.csv、Sales_2023.csv、Sales_2024.csvなどのファイルを取得するには、パターンにSales_.*を入力します。
同様に、PublicData1.csv、PublicData2.csv、PublicData3.csvなどのファイルを取得するには、Public.*を使用します。
ファイルを1件だけインポートする場合は、正確なファイル名をパターンに指定します。
例：leads_jan_2022.*
［ファイルのパスワード］：ファイルがパスワードで保護されている場合は、パスワードを入力します。
［ファイルの統合とインポート］ - 指定したパターンに一致するすべてのファイルを統合し、1つのデータセットとしてインポートします。
情報：このオプションでは、一度に最大5件のファイルのみ統合できます。
メモ：このチェックボックスをオフにすると、一度に1件のファイルのみ取得されます。
例：ローカルパスに10件のファイルがある場合、最初の5件が1つのデータセットに統合され、インポートされます。次回の再読み込み時に、残りの5件が統合され、インポートされます。
同様に、ローカルパスに8件のファイルがある場合、最初に5件が統合されて取得され、その後、残りの3件が統合されて取得されます。
［ファイルの種類］：必要なファイル形式を選択します。利用可能な形式は、CSV、TSV、JSON、XLS、XLSX、XML、TXTです。
［シートのパターン］：このオプションは、XLS形式とXLSX形式でのみ利用できます。ファイル内のシート名との照合に使用するパターンです。正規表現による照合に対応しています。「.*」を使用すると、ファイル内のすべてのシートに一致させることもできます。
シートのパターンによる照合も、簡単な正規表現を使用します。たとえば、Sales_2022、Sales_2023、Sales_2024などの名前のシートを取得するには、パターンとしてSales_.*と入力します。
同様に、PublicData1、PublicData2、PublicData3などのシートを取得するには、Public.*を使用します。
1件のシートのみをインポートする場合は、正確なシート名を使用してパターンを指定します。
例：Leads_Jan_2022.*
情報：シートのパターンでは、大文字と小文字が区別されます。
［シートのパスワード］：このオプションは、XLS形式とXLSX形式でのみ利用できます。シートがパスワードで保護されている場合は、パスワードを入力します。
［シートの統合とインポート］：指定したパターンに一致するすべてのシートを統合し、1つのデータセットとしてインポートします。
このオプションを使用すると、インポート後にユニオン処理を実行することなく、インポート時にシートを統合できます。
メモ：このチェックボックスをオフにすると、一度に1件のシートのみ取得されます。
5. ［インポート］ボタンをクリックします。データのインポートが完了すると、ビジュアルパイプラインの作成画面が開き、加工処理を適用できるようになります。また、ステージを右クリックして［データの準備］オプションを選択し、DataPrep Studioページでデータを準備することもできます。加工処理の詳細については、こちらをクリックしてください。
6. データフローを作成し、各ステージに必要な加工処理を適用したら、ステージを右クリックして、エクスポート先を追加することで、データフローを完成できます。
7. パイプラインにエクスポート先を追加したら、まず手動での実行を使用してパイプラインを実行します。手動での実行が正常に動作することを確認したら、実行を予約して、パイプラインを自動化できます。実行の種類については、こちらをご参照ください。
予約、バックフィル、手動での再読み込み、Webhook、Zoho Flowを設定する際は、すべての元データでインポート設定を行う必要があります。インポート設定を行わないと、実行内容を保存できません。インポート設定の方法については、こちらをクリックしてください。
8. 実行を設定すると、実行時にパイプラインジョブが作成されます。ジョブの概要で、ジョブのステータスと詳細を確認できます。こちらをクリックして、ジョブの概要の詳細をご確認ください。
データブリッジを使用しないローカルファイルのインポート設定
Zoho Databridgeを使用して、ローカルファイルからデータをインポートできます。インポート設定については、次のセクションをご参照ください。
バックフィルの実行と手動での再読み込みを設定する際は、すべての元データでインポート設定を行う必要があります。インポート設定を行わないと、実行内容を保存できません。
以下は、バックフィル設定の画面です。
データソースからデータをインポートするには？このオプションでは、［データソースのファイルをインポートする］または［データをインポートしない］を選択できます。
［データソースのファイルをインポートする］
このオプションを選択すると、実行するたびに元データのファイルがインポートされます。
メモ： ファイルが、予約実行、ウェブフック、Zoho Flowのデータソースである場合、インポート設定は適用対象外です。ただし、バックフィルおよび手動での再読み込みでは、［ファイルのアップロード］
オプションがインポート設定時に表示されます。不明なファイル形式を解析するには、［ファイルの解析方法］オプションを使用できます。
［データをインポートしない］
データのインポートは初回のみ行われます。2回目には、同じデータにルールが適用され、エクスポートされます。
データブリッジを使用したローカルファイルのインポート設定
ローカルネットワークからデータをインポートする場合、次の［インポート設定］オプションを使用して、ローカルネットワークからデータをインポートする方法と増分データを取得する方法を設定できます。
［こちらをクリック］というリンクを選択して、インポート設定を行えます。
次の画像は、バックフィル設定の画面です。
［元データからデータをインポートする方法］
ドロップダウンから、データのインポート方法として、［すべてのデータをインポートする］、［増分ファイルの取得］、［データをインポートしない］のいずれかを選択します。
［すべてのデータをインポートする］
このオプションでは、ファイルのパターンに一致する利用可能なすべてのデータがインポートされます。
［ファイルのバッチサイズ］： すべてのファイルをインポートする場合のバッチサイズを指定します。ファイルは、最初の更新日時に基づき、ここで指定した数ごとにグループ化されます。これらのファイルは1つのファイルとしてインポートされ、実行ごとにエクスポート先へエクスポートされます。
情報：［ファイルのバッチサイズ］には10を超える値を指定できません。このオプションは、ローカルネットワークからデータをインポートする場合にのみ使用できます
［増分ファイルの取得］
ローカルネットワークからデータをインポートする方法と増分データを取得する方法を、［インポート設定］オプションで設定できます。増分データのインポートとは、前回のデータの範囲より後に追加または更新されたデータをインポートする方法です。
［新しいデータがない場合は前回インポートしたデータを使用する］。
- チェックボックスが選択されている場合：元データに新しいデータがない場合、最後に取得したデータが再度インポートされます。
- チェックボックスが選択されていない場合：元データに新しいデータがないと、インポートは失敗し、ファイルはインポートされません。その結果、パイプライン処理全体が失敗します。
［インポートするファイル］このオプションでは、［すべてのファイル］、［最新のファイル］、または［最も古いファイル］を選択してインポートできます。
［すべてのファイル］
このオプションでは、［取得基準］項目に基づく特定のデータの範囲内にある、指定したファイルのパターンに一致するすべてのファイルがインポートされます。
［取得基準］：ファイルの並べ替えとインポートの基準となる時間として、［更新日時］を選択できます。
［ファイルのバッチサイズ］：すべてのファイルを増分インポートする場合のバッチサイズを指定します。ファイルは、そのデータの範囲内の更新日時に基づき、ここで指定した数ごとにグループ化されます。これらのファイルは1つのファイルとしてインポートされ、実行ごとにエクスポート先へエクスポートされます。
情報：［ファイルのバッチサイズ］には10を超える値を指定できません。このオプションは、ローカルネットワークからデータをインポートする場合にのみ使用できます。
［最新のファイル］
このオプションでは、［取得基準］項目に基づく特定のデータの範囲内で、指定したファイルのパターンに一致する最新のファイルがインポートされます。
［最も古いファイル］
このオプションでは、［取得基準］項目に基づく特定のデータの範囲内で、指定したファイルのパターンに一致する最も古いファイルがインポートされます。
［データをインポートしない］
データは初回のみインポートされます。2回目以降は、同じデータにルールが適用され、エクスポートされます。
増分同期の仕組み
［インポート設定］オプションを使用して、元データから増分データをインポートおよび取得する方法を設定できます。増分データのインポートとは、新規または更新済みのレコードを特定のデータの範囲でインポートする方法です。
増分ファイルの取得では、パイプラインを実行すると、新規または更新済みのファイルが取得されます。データの範囲ごとに、前のデータの範囲より後に作成または更新されたファイルがインポートされます。ローカルファイルのパスに新しいファイルがない場合、データはインポートされないか、インポート設定に応じて以前にインポートしたデータが再度取得されます。次のデータの範囲では、その範囲内で作成または更新されたファイルが取得され、以降も同様に処理されます。
スケジュール実行時の増分取得
増分ファイルの取得では、パイプラインのスケジュールを設定すると、最初のスケジュールのデータの範囲は、前の範囲から現在のデータの範囲までとなります。この範囲内にあるすべての新規または更新済みのファイルが取得されます。2回目のスケジュールでは現在の範囲から次の範囲までが対象となり、それ以降のスケジュールも同様に処理されます。
たとえば、スケジュールの間隔を1時間に設定します。データソースには合計10件のファイルがあり、そのうち5件は1時間前にアップロードされ、ファイルのパターンに一致しています。［インポート設定］では、すべてのファイルを増分でインポートするよう設定し、バッチサイズを10に設定します。
最初のスケジュールを実行すると、過去1時間以内に作成された/modified5件のファイルが取得され、1件のファイルとしてエクスポートされます。
2回目のスケジュールで、同じファイルのパターンに一致する新しいファイルが元データに4件追加された場合、その範囲内における元データの作成/modified日時に基づき、その4件のみが取得され、1件のファイルとしてエクスポートされます。
3回目のスケジュールで、ファイルのパターンに一致する新しいファイルが元データに13件追加された場合、バッチサイズが10に設定されているため、元データの作成/modified日時に基づいて先頭の10件のみが取得され、1件のファイルとしてエクスポートされます。以降のスケジュールでも、増分取得の対象ファイルには同じ処理が適用されます。
こちらをクリックすると、スケジュール実行について確認できます。
バックフィル実行時の増分取得
増分ファイルの取得では、パイプラインにバックフィルの実行を設定すると、指定したデータの範囲内にあるすべての増分ファイルが取得されます。
たとえば、バックフィルを8月1日から3日まで、処理頻度を毎日に設定します。8月1日には4件、8月2日には7件、8月3日には13件のファイルがあります。［インポート設定］では、すべてのファイルを増分で取得するよう設定し、バッチサイズを10に設定します。
最初のバックフィル処理では、8月1日に作成または更新された4件のファイルが取得され、1件のファイルとしてエクスポートされます。2回目のバックフィル処理では、8月2日の7件のファイルが同様に処理され、エクスポートされます。3回目のバックフィル処理では、8月3日の先頭10件のファイルが取得され、1件のファイルとしてエクスポートされます。
こちらをクリックすると、バックフィルの実行について確認できます。
データの再読み込み時の増分取得
増分ファイルの取得では、パイプラインに再読み込みを設定すると、指定したデータの範囲内にあるすべての新規または更新済みのファイルが取得されます。
たとえば、再読み込みの範囲を8月1日から2日までに設定します。
8月1日には3件、8月2日には4件のファイルがあります。［インポート設定］では、最も古い更新日時に基づいてすべてのファイルを増分で取得するよう設定し、バッチサイズを5に設定します。
再読み込み処理では、8月1日に作成された3件のファイルと、8月2日に作成された先頭2件のファイルが取得され、1件のファイルとしてエクスポートされます。
こちらをクリックすると、再読み込みについて確認できます。
関連情報
FTPサーバーからデータを増分インポートするには
