お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の
英語版を参照してください。
増分データ取得は、元データから新しいファイルをインポートするためのメソッドです。Zoho DataPrepでは、Zoho Databridgeを使用してFTPサーバーから増分データをインポートできます。DataPrepでは、CSV、TSV、JSON、XML、TXTなど、FTP上のさまざまな種類のファイルを増分インポートできます。
インポートを開始するには
1. 既存のパイプラインを開くか、新しいパイプラインを作成します。［ホーム］ページ、［パイプライン］タブ、または［ワークスペース］タブから開き、［データを追加］をクリックします。
情報：パイプラインの作成画面上部にある［データのインポート］
アイコンをクリックして、複数の元データからパイプラインにデータを追加することもできます。
2. ［FTP］を［元データを選択］セクションから選択するか、左側の［ファイル］カテゴリーから選択します。
メモ：FTP接続をすでに追加している場合は、［FTPサーバー］を［保存済みの接続］セクションで開き、既存の接続を選択して、インポートを続けることができます。保存済みの接続の詳細については、こちらを クリックしてください。
増分データのインポート
3. FTPサーバーからローカルファイルを増分インポートするには、［ローカルネットワークからインポート］の切り替えボタンを有効にします。
情報：FTPからファイルをインポートするには、使用しているマシンにZoho Databridgeがインストールされていることを確認してください。Zoho Databridgeをダウンロードしてインストールする方法については、
こちらをクリックしてください。
3. 有効なデータブリッジを選択します。
4. サーバーに接続してファイルを取得するため、FTP接続を設定します。
5. ［FTPサーバーの種類］のドロップダウンから、次のいずれかの選択肢を選択します。
6. ［FTPサーバーのホスト名］を入力します。サーバーのIPアドレスまたはFQDN（完全修飾ドメイン名）を入力することもできます。
7. 認証が必要な場合は、［ユーザー名］と［パスワード］を入力します。
メモ：接続設定は、今後データをインポートするために保存されます。認証情報は安全に暗号化され、保存されます。
SFTP：SSHファイル転送プロトコル
7. サーバーの種類として［SFTP（SSHファイル転送プロトコル）］を選択した場合は、［ユーザー名とパスワード］または［キーファイル］を使用してログインできます。
8. ［キーファイル］を使用してログインする場合は、キーファイルをアップロードします。
重要：古いバージョンのZoho Databridgeを使用している場合、この設定は利用できません。キーファイルによるログインを使用してローカルネットワークからデータをインポートするには、最新バージョンのZoho Databridgeがインストールされていることを確認してください。Zoho Databridgeをダウンロードしてインストールする方法については、
こちらをクリックしてください。
9. ［接続］ボタンをクリックし、次の詳細情報を入力します。
［フォルダーのパス］：ファイルを検索するフォルダーのパスです。例：/srv/ftp/filesfortest/
情報：フォルダーのパスでは大文字と小文字が区別されます。
［サブフォルダーを含める］：ファイルの検索時にサブフォルダーも含める場合は、このチェックボックスを選択します。
［ファイルのパターン］：指定した場所にあるファイル名との照合に使用するパターンです。正規表現による照合に対応しています。また、「.*」を使用すると、指定したパス内のすべてのファイルに一致させることができます。
たとえば、次のようなファイル名のファイルを取得するには、Sales_2022.csv, Sales_2023.csv, Sales_2024.csv、パターンとしてSales_.*を入力します。
同様に、次のようなファイルを取得するには、PublicData1.csv, PublicData2.csv, PublicData3.csv、パターンとしてPublic.*を使用します。
1件のファイルのみをインポートする場合は、正確なファイル名を使用してパターンを指定します。
例：leads_jan_2022.*
情報：ファイルのパターンでは大文字と小文字が区別されます。
［ファイルのパスワード］：ファイルがパスワードで保護されている場合は、パスワードを入力します。
［ファイルの統合とインポート］：指定したパターンに一致するすべてのファイルを統合し、1件のデータセットとしてインポートします。
情報：このオプションでは、一度に最大5件のファイルのみ統合できます。
メモ：このチェックボックスを選択しない場合、一度に取得されるファイルは1件のみです。
例：FTPサーバーのパス内に10件のファイルがある場合、最初の5件が1件のデータセットに統合されてインポートされます。次回の再読み込み時に、残りの5件が統合されてインポートされます。
同様に、FTPサーバーのパス内に8件のファイルがある場合、最初の5件が統合されて取得された後、残りの3件が取得されます。
［シートのパターン］：このオプションはXLS形式とXLSX形式でのみ使用できます。ファイル内のシート名との照合に使用するパターンです。正規表現による照合に対応しています。また、「.*」を使用すると、ファイル内のすべてのシートに一致させることができます。
シートのパターンも、単純な正規表現で照合されます。たとえば、Sales_2022、Sales_2023、Sales_2024などの名前のシートを取得するには、パターンとしてSales_.*を入力します。
同様に、PublicData1、PublicData2、PublicData3などのシートを取得するには、Public.*を使用します。
1件のシートのみをインポートする場合は、正確なシート名を使用してパターンを指定します。
例：Leads_Jan_2022.*
情報：シートのパターンでは大文字と小文字が区別されます。
［シートのパスワード］：このオプションはXLS形式とXLSX形式でのみ使用できます。シートがパスワードで保護されている場合は、パスワードを入力します。
［シートの統合とインポート］：指定したパターンに一致するすべてのファイルを統合し、1件のデータセットとしてインポートします。
このオプションを使用すると、インポート後にユニオンを実行することなく、インポート時にシートを統合できます。
メモ：このチェックボックスを選択しない場合、一度に取得されるシートは1件のみです。
10. ［インポート］ボタンをクリックします。データのインポートが完了すると、ビジュアル形式のパイプラインの作成画面が開き、加工処理を適用できます。また、ステージを右クリックして、［データの準備］オプションを選択し、DataPrep Studioページでデータを準備することもできます。加工処理について詳しくは、こちらをクリックすると確認できます。
11. データフローを作成し、各ステージに必要な加工処理を適用したら、ステージを右クリックして、［エクスポート先を追加］し、データフローを完成できます。
12. パイプラインにエクスポート先を追加したら、まず手動での実行によりパイプラインを実行してみます。手動での実行が正常に動作することを確認した後、実行を予約してパイプラインを自動化できます。実行の種類について詳しくは、こちらをご参照ください。
予約、バックフィル、手動での再読み込み、Webhook、またはZoho Flowを設定する際は、すべてのデータ元でインポート設定を行う必要があります。インポート設定を行わないと、実行内容を保存できません。インポート設定の方法について詳しくは、こちらをクリックすると確認できます。
13. 実行を設定すると、実行時にパイプラインの処理が作成されます。処理の概要では、処理のステータスと詳細情報を確認できます。こちらをクリックすると、処理の概要について詳しく確認できます。
データブリッジを使用しないFTPサーバーのインポート設定
バックフィルの実行と手動での再読み込みを設定する際は、すべてのデータ元でインポート設定を行う必要があります。インポート設定を行わないと、実行内容を保存できません。
以下に、バックフィル設定のスナップショットを示します。
［データソースからデータをインポートするには？］このオプションでは、［データソースのファイルをインポートする］、または［データをインポートしない］を選択できます。
［データソースのファイルをインポートする］
このオプションでは、実行するたびにデータソースのファイルがインポートされます。
メモ：スケジュール、Webhook、Zoho Flowでファイルをデータソースとして使用する場合、インポート設定は適用対象外です。ただし、バックフィルと手動での再読み込みでは、インポート設定時に［ファイルのアップロード］オプションを使用できます。
［データをインポートしない］
データは一度だけインポートされます。2回目以降は、同じデータにルールが適用され、エクスポートされます。
データブリッジを使用するFTPサーバーのインポート設定
ローカルネットワークからデータをインポートする場合、次の［インポート設定］オプションで、ローカルネットワークからデータをインポートし、増分データを取得する方法を設定できます。
インポート設定を行うには、［こちらをクリック］を選択します。
次の画像は、バックフィル設定の例です。
［データソースからデータをインポートするには？］
ドロップダウンから、データのインポート方法を選択します。選択肢は、［すべてのデータをインポートする］、［増分ファイルの取得］、［データをインポートしない］です。
［すべてのデータをインポートする］
このオプションでは、ファイルのパターンに一致する利用可能なすべてのデータがインポートされます。
［ファイルのバッチサイズ］：すべてのファイルをインポートする場合のバッチサイズを指定します。ファイルは、最初の更新日時に基づき、指定した数ごとにグループ化されます。これらのファイルは1つのファイルとしてインポートされ、実行するたびにエクスポート先へエクスポートされます。
情報：ファイルのバッチサイズには10より大きい値を指定できません。このオプションは、ローカルネットワークからデータをインポートする場合にのみ使用できます
［増分ファイルの取得］
ローカルネットワークからデータをインポートし、増分データを取得する方法は、［インポート設定］オプションで設定できます。増分データのインポートとは、前回のデータの範囲以降に新規作成または更新されたデータをインポートする方法です。
［新しいデータがない場合は前回インポートしたデータを使用する］：
- チェックボックスを選択した場合：元データに新しいデータがないときは、最後に取得したデータが再度インポートされます。
- チェックボックスを選択していない場合：元データに新しいデータがないときは、インポートが失敗し、ファイルはインポートされません。その結果、パイプライン処理全体が失敗します。
［インポートするファイルは？］このオプションでは、［すべてのファイル］、［最新のファイル］、または［最も古いファイル］を選択してインポートできます。
［すべてのファイル］
このオプションでは、［取得基準］項目に基づき、指定したデータの範囲内で、指定されたファイルのパターンに一致するすべてのファイルがインポートされます。
［取得基準］：ファイルの並べ替えとインポートの基準となる時間として、［更新日時］を選択できます。
［ファイルのバッチサイズ］：すべてのファイルを増分インポートする場合のバッチサイズを指定します。ファイルは、指定したデータの範囲内で最初に作成または更新された日時に基づき、指定した数ごとにグループ化されます。これらのファイルは1つのファイルとしてインポートされ、実行するたびにエクスポート先へエクスポートされます。
情報：ファイルのバッチサイズには10より大きい値を指定できません。このオプションは、ローカルネットワークからデータをインポートする場合にのみ使用できます。
［最新のファイル］
このオプションでは、［取得基準］項目に基づき、指定したデータの範囲内で、指定されたファイルのパターンに一致する最新のファイルがインポートされます。
［最も古いファイル］
このオプションでは、［取得基準］項目に基づき、指定したデータの範囲内で、指定されたファイルのパターンに一致する最も古いファイルがインポートされます。
［データをインポートしない］
データは一度だけインポートされます。2回目以降は、同じデータにルールが適用され、エクスポートされます。
増分同期の仕組み
元データから増分データをインポートして取得する方法は、［インポート設定］オプションで設定できます。増分データのインポートは、指定したデータの範囲内にある新規または更新済みのレコードをインポートするメソッドです。
増分ファイルの取得では、パイプラインを実行すると、新規または更新済みのファイルが取得されます。各データの範囲では、前のデータの範囲より後に作成または更新されたファイルがインポートされます。ローカルファイルのパスに新しいファイルがない場合、データはインポートされません。または、インポート設定に従って、以前にインポートしたデータが再度取得されます。次のデータの範囲では、その範囲内で作成または更新されたファイルが取得され、以降も同様に処理されます。
予約実行での増分取得
増分ファイルの取得では、パイプラインを予約すると、最初の予約のデータの範囲は、前の範囲から現在の範囲までになります。この範囲内にある新規または更新済みのファイルがすべて取得されます。2回目の予約では、現在の範囲から次の範囲までが対象となり、それ以降の予約も同じパターンで処理されます。
たとえば、予約の間隔を1時間に設定します。データソースには合計10件のファイルがあり、そのうち5件は1時間前にアップロードされ、ファイルのパターンに一致しています。インポート設定では、すべてのファイルを増分でインポートするように設定し、バッチサイズを10に設定します。
最初の予約を実行すると、過去1時間以内に作成された/modified5件のファイルが取得され、1件のファイルとしてエクスポートされます。
2回目の予約時に、同じファイルのパターンに一致する新しいファイルが元データに4件追加されている場合、指定された範囲内の元データでの作成/modified日時に基づいて、この4件のみが取得され、1件のファイルとしてエクスポートされます。
3回目の予約時に、ファイルのパターンに一致する新しいファイルが元データに13件追加されている場合、バッチサイズが10に設定されているため、元データでの作成/modified日時に基づいて先頭の10件のみが取得され、1件のファイルとしてエクスポートされます。以降の予約でも、増分取得時のファイルに同じ処理が適用されます。
こちらをクリックすると、予約実行の詳細を確認できます。
バックフィル実行での増分取得
増分ファイルの取得では、パイプラインにバックフィルの実行を設定すると、指定したデータの範囲内にあるすべての増分ファイルが取得されます。
たとえば、バックフィルを8月1日から3日まで、処理の頻度を毎日に設定します。8月1日には4件、8月2日には7件、8月3日には13件のファイルがあります。インポート設定では、すべてのファイルを増分で取得するように設定し、バッチサイズを10に設定します。
最初のバックフィル処理では、8月1日に作成または更新された4件のファイルが取得され、1件のファイルとしてエクスポートされます。2回目のバックフィル処理では、8月2日の7件のファイルが同様に処理され、エクスポートされます。3回目のバックフィル処理では、8月3日の先頭10件のファイルが取得され、1件のファイルとしてエクスポートされます。
こちらをクリックすると、バックフィル実行の詳細を確認できます。
再読み込み時の増分取得
増分ファイルの取得では、パイプラインに再読み込みを設定すると、指定したデータの範囲内にある新規または更新済みのファイルがすべて取得されます。
たとえば、再読み込みの範囲を8月1日から2日までに設定します。
8月1日には3件、8月2日には4件のファイルがあります。インポート設定では、最も古い更新日時に基づいてすべてのファイルを増分で取得するように設定し、バッチサイズを5に設定します。
再読み込み処理では、8月1日に作成された3件のファイルと、8月2日に作成された先頭2件のファイルが取得され、1件のファイルとしてエクスポートされます。
こちらをクリックすると、再読み込みの詳細を確認できます。
関連情報
ローカルファイルからデータを増分インポートするには
FTPサーバーにデータをエクスポートするには
