お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の
英語版を参照してください。
インクリメンタルデータフェッチは、データ元から新規ファイルをインポートする際に使用される手法です。Zoho DataPrepでは、Zoho Databridgeを利用してFTPサーバーからインクリメンタルデータをインポートできます。DataPrepでは、FTPからCSV、TSV、JSON、XML、TXTなど様々なファイルタイプをインクリメンタルにインポートできます。
インポートを開始するには
1. 既存のパイプラインを開くか、パイプラインを作成します。「ホーム」ページ、「Pipelines」タブ、または「Workspaces」タブから選択し、データ追加オプションをクリックしてください。
Info: できること または クリックして インポートするデータ 
パイプラインビルダーの上部にあるアイコンをクリックし、複数のソースからデータをパイプラインに取り込むことができます。
2. FTP オプションを選択する your data データ元セクションから選択するか、左側のFilesカテゴリーから選択してください。
メモ: 以前にFTP接続を追加済みの場合、FTPサーバーの保存済み外部連携セクションから既存の接続を選択し、インポートを続行できます。保存済み外部連携の詳細については、クリック こちらをご覧ください。
インクリメンタルデータのインポート
3. ローカルネットワークからインポートのトグルを有効にして、FTPサーバーからローカルファイルを段階的にインポートします。
情報: FTPからファイルをインポートするには、お使いのマシンにZoho Databridgeをインストールしていることをご確認ください。Zoho Databridgeのダウンロードおよびインストール方法については、
こちらをご参照ください。
3. 有効なDatabridgeを選択します。
4. FTP接続を設定し、サーバーに接続してファイルを取得します。
5. 下記のいずれかの設定をFTP server 種類ドロップダウンから選択してください。
6. FTP server hostを入力してください。サーバーのIPアドレスまたはFQDN（完全修飾ドメイン名）も入力可能です。
7. 認証が必要な場合は、ユーザー名とパスワードを入力してください。
メモ: 接続設定は今後のデータインポートのために保存されます。認証情報は安全に暗号化されて保存されます。
SFTP-SSHファイル転送プロトコル
7. SFTP（SSHファイル転送プロトコル）のサーバー種類を選択した場合、ユーザー名＆パスワードまたはキー ファイルのいずれかでログインできます。
8. キー fileオプションでログインする場合は、キー fileをアップロードしてください。
重要: Zoho Databridgeの旧バージョンをご利用の場合、このオプションは利用できません。キー file ログインする種類を使ってローカルネットワークからデータをインポートするには、最新バージョンのZoho Databridgeをインストールしてください。Zoho Databridgeのダウンロードとインストール方法については、
こちらをクリックしてください。
9. 接続ボタンをクリックし、以下の詳細を入力してください。
Folder path: ファイルを検索したいフォルダのパスを指定します。例: /srv/ftp/filesfortest/
情報: フォルダパスは大文字と小文字が区別されます。
含める subfolders: ファイル検索時にサブフォルダも含めたい場合は、このチェックボックスを選択できます。
File pattern: 指定した場所内のファイル名を照合するために使用するパターンです。正規表現タイプのマッチングに対応しています。パス内のすべてのファイルにマッチさせたい場合は '.*' というパターンも利用できます。
例えば、Sales_2022.csv , Sales_2023.csv , Sales_2024.csvといった名前のファイルを取得したい場合は、パターンとして Sales_.* を入力できます。
同様に、PublicData1.csv、PublicData2.csv、PublicData3.csvなどのファイルを取得する場合は、公開する.*
単一ファイルをインポートする場合は、正確なファイル名を使ってパターンを指定してください。
例:leads_jan_2022.*
情報: ファイルパターンは大文字と小文字を区別します。
ファイルパスワード: ファイルがパスワード保護されている場合は、パスワードを入力してください。
ファイルを結合してインポートする- 指定したパターンに一致するすべてのファイルを結合し、1つのデータセットとしてインポートします。
情報: このオプションでは、一度に最大5ファイルまで結合できます。
メモ: このチェックボックスがオフの場合、一度に取得できるファイルは1つのみとなります。
例: FTPサーバーのパスにファイルが10個ある場合、最初の5つが1つのデータセットに結合されインポートされます。次回の更新時に、残りの5つが結合されてインポートされます。
同様に、FTPサーバーのパスにファイルが8個ある場合、最初の5つが先に結合・取得され、続けて残りの3つが処理されます。
シートパターン：このオプションはXLSおよびXLSX形式のみで利用可能です。パターンはファイル内のシート名を照合するために使用します。正規表現タイプのマッチングに対応しています。ファイル内の任意のシートを照合する場合は、パターン「.*」も使用できます。
シートパターン照合もシンプルな正規表現ベースの照合です。例えば、「Sales_2022」「Sales_2023」「Sales_2024」などの名前の表計算シートを取得するには、「Sales_.*」というパターンを入力してください。
同様に、「PublicData1」「PublicData2」「PublicData3」などの表計算シートを取得する場合は、「公開する.*」を使用してください。
単一のシートをインポートしたい場合は、パターンを正確なシート名で指定してください。
例：Leads_Jan_2022.*
情報：シートパターンは大文字・小文字を区別します。
シートパスワード：このオプションはXLSおよびXLSX形式のみで利用可能です。シートがパスワード保護されている場合は、パスワードを入力してください。
表計算シートをマージしてインポート：指定したパターンに一致するすべてのファイルをマージし、1つのデータセットとしてインポートします。
このオプションを使用することで、インポート時に表計算シートをまとめてマージでき、インポート後にユニオンを行う必要がありません。
メモ: このチェックボックスがオフの場合、1度に取得済みとなるシートは1枚のみです。
10. 「インポートする」ボタンをクリックします。データのインポートが完了すると、Visual Pipeline builderが開き、変換の適用を開始できます。ステージを右クリックし、Prepare dataオプションを選択して、DataPrep Studioページでデータを準備することも可能です。変換の詳細についてはこちらをご覧ください。
11. データフローの作成と各ステージで必要な変換の適用が完了したら、ステージを右クリックして宛先を追加して、データフローを完了します。
12. パイプラインに宛先を追加した後、まず手動実行でパイプラインの動作をテストできます。手動実行が正常に動作することを確認後、スケジュールを設定して、パイプラインを自動化することが可能です。実行タイプの詳細はこちらをご覧ください。
スケジュール、バックフィル、手動更新、Webhook、またはZoho Flowの設定時には、すべてのソースに対し「インポートする」設定が必須です。「インポートする」設定がない場合、実行を保存できません。こちらでインポート設定方法の詳細をご確認いただけます。
13. 実行を設定した後、パイプラインジョブが実行時に作成されます。ジョブのステータスや詳細情報は、ジョブ概要で確認できます。こちらをクリックしてジョブ概要の詳細をご覧ください。
Databridgeを使用せずにFTPサーバー用のインポート設定
Backfill実行および手動更新の設定時には、すべてのソースに対してインポート設定が必須です。インポート設定を行わないと、実行を保存できません。
以下は、Backfill設定のスナップショットです。
データ元からデータをインポートする方法データ元ファイルをインポートするか、データをインポートしないかを選択できます。
データ元ファイルをインポートする
このオプションを選択すると、指定した頻度でデータ元ファイルがインポートされます。
メモ: インポート設定は、ファイルがスケジュール、Webhook、またはZoho Flowのデータ元である場合は適用されません。ただし、Backfillや手動更新の場合は、インポート設定時に「ファイルアップロード」オプションが利用可能です。
データをインポートしない
データは一度だけインポートされます。2回目以降は、同じデータに対してルールが適用され、エクスポート済みとして取得されます。
Databridgeを使用したFTPサーバー用インポート設定
ローカルネットワークからデータをインポートする場合は、以下の設定でローカルネットワークからどのようにインポートし、増分データを取得するかを設定できます。インポート設定の設定です。
「こちらをクリック」リンクを選択して、インポート設定を行えます。
以下はバックフィル設定のスナップショットです。
データ元からデータをインポートする方法
ドロップダウンからデータのインポート方法を選択できます - すべてのデータをインポート、増分ファイル取得、データをインポートしないのいずれかです。
すべてのデータをインポート
このオプションを選択すると、ファイルパターンに一致するすべての利用可能なデータがインポートされます。
File バッチサイズ: すべてのファイルをインポートする際のバッチサイズを指定します。ファイルは最初の更新済み時間に基づき、この数値ごとにグループ化されます。これらのファイルは一つのファイルとしてインポートされ、実行頻度に従い宛先にエクスポートされます。
情報: File バッチサイズは10を超えることはできません。このオプションはローカルネットワークからデータをインポートする場合のみ利用可能です。
増分ファイル取得
インポート設定オプションを使用して、ローカルネットワークから増分データをインポート・取得する方法を設定できます。増分データインポートは、前回のデータ取得間隔以降の新規または更新済みデータをインポートする方法です。
新しいファイルが利用できない場合は以前インポートしたファイルを使用:
増分インポート中にデータ元に新しいファイルが存在しない場合、
チェックボックスがオンの場合：最後に取得したファイルが再度インポートされます。
チェックボックスがオフの場合：インポートはスキップされ、ファイルはインポートされません。
どのファイルをインポートしますか？すべてのファイル、最新のファイル、または最も古いファイルをこのオプションで選択してインポートできます。
すべてのファイル
このオプションを選択すると、指定したファイルパターンに一致するすべてのファイルが、「Fetch based オン」項目に基づき、特定のデータ間隔内でインポートされます。
Fetch based オン: ファイルを並べ替えてインポートする際に基準となる時間を選択できます - 更新済み時間。
File バッチ size: すべてのファイルを段階的にインポートする場合のバッチサイズを指定します。ファイルは、この数値ごとに、特定のデータ区間における最初の作成または更新済み時間に基づいてグループ化されます。これらのファイルは1つのファイルとしてインポートされ、ランごとの頻度で宛先にエクスポートされます。
Info: File バッチ sizeは10を超えることはできません。このオプションはローカルネットワークからデータをインポートする場合のみ利用可能です。
最新ファイル
このオプションでは、指定したファイルパターンに一致する最新のファイルを、特定のデータ区間内でFetch based オン項目を基準にインポートします。
最古ファイル
このオプションでは、指定したファイルパターンに一致する最も古いファイルを、特定のデータ区間内でFetch based オン項目を基準にインポートします。
データをインポートしない
データは一度だけインポートされます。2回目以降は、同じデータに対してルールが適用され、エクスポートされます。
インクリメンタル同期の仕組み
インポートする構成オプションを使用して、データ元からインクリメンタルデータのインポートおよび取得方法を設定できます。インクリメンタルデータインポートは、新規または更新済みデータを特定のデータ間隔でインポートする方法です。
インクリメンタルファイル取得では、パイプライン実行時に新規または更新済みファイルが取得されます。データ間隔の期間中、前回のデータ間隔以降に作成または更新されたファイルがインポートされます。ローカルファイルパスに新規ファイルがない場合はデータはインポートされず、またはインポート構成に従って前回インポートしたデータが再取得されます。次のデータ間隔では、その期間中に作成または更新されたファイルが取得され、同様に繰り返されます。
スケジュール実行におけるインクリメンタル取得
インクリメンタルファイル取得では、パイプラインがスケジュールされている場合、最初のスケジュールのデータ間隔は前回から現在のデータ間隔までとなります。この間にすべての新規または更新済みファイルが取得されます。2回目のスケジュールは現在の間隔から次の間隔まで延長され、以降は同様のパターンで進みます。
例えば、スケジュールが1時間ごとに設定されている場合、データ元には合計10ファイルがあり、そのうち5ファイルが1時間前にファイルパターンに一致してアップロードされています。インポートする構成はすべてのファイルをインクリメンタルにインポートするよう設定されており、バッチサイズは10に設定されています。
最初のスケジュール実行時、過去1時間以内に作成または更新済みの5件のファイルが取得され、1つのファイルとしてエクスポートされます。
2回目のスケジュールでは、同じファイルパターンの新規ファイルがデータ元に4件追加された場合、その4件のみが取得およびエクスポートされ、指定された間隔内のデータ元の作成または更新時間に基づき1つのファイルとしてまとめられます。
3回目のスケジュールでは、ファイルパターンに照合する新規ファイルがデータ元に13件追加された場合、バッチサイズが10に設定されているため、最初の10件のみが取得・エクスポートされます。以降のスケジュールで増分取得を行う際も同様のロジックが適用されます。
こちらをクリックしてスケジュール実行の詳細をご覧ください。
バックフィル実行のための増分取得
増分ファイル取得において、パイプラインにバックフィル実行が設定されている場合、指定されたデータ間隔内のすべての増分ファイルが取得されます。
例えば、バックフィルが8月1日から3日まで毎日ジョブで設定されている場合、8月1日は4件、8月2日は7件、8月3日は13件のファイルがあります。インポート設定で全ファイルを増分取得し、バッチサイズを10に設定しています。
最初のバックフィルジョブでは、8月1日に作成または更新済みの4件のファイルが取得・エクスポートされ1つのファイルになります。2回目のバックフィルジョブでは8月2日の7件が同様に処理・エクスポートされます。3回目のバックフィルジョブでは8月3日の最初の10件が取得・エクスポートされ1つのファイルとなります。
こちらをクリックしてバックフィル実行についてご覧ください。
更新データ用の増分取得
増分ファイル取得の場合、パイプラインに更新するが設定されていると、指定されたデータ間隔内のすべての新規または更新済みファイルが取得されます。
例えば、更新するが8月1日から2日の間に設定されています。
8月1日には3つのファイル、8月2日には4つのファイルがあります。インポートするの設定で、すべてのファイルを増分で取得し、バッチサイズ5、最も古い更新済み時間に基づいて取得するように設定されています。
更新するジョブの実行時、8月1日に作成された3ファイルと8月2日に作成された最初の2ファイルが取得され、1つのファイルとしてエクスポートされます。
こちらをクリックして更新するの詳細をご確認ください。
関連情報
ローカルファイルから増分でデータをインポートする方法
FTPサーバーへデータのエクスポート方法
