ローカルファイルから増分データをインポートする
インクリメンタルデータフェッチは、前回の同期以降にデータ元から新しいファイルをインポートするための手法です。Zoho DataPrep では、Zoho Databridge を利用してローカルファイルからインクリメンタルデータをインポートできます。
メモ :
1. DataPrep では拡張子がないファイルやプレーンテキスト形式のファイルにも対応しています。ただし、バイナリファイルはインポート時にパースできませんので、上記の対応形式のいずれかへ手動で変換してください。
2. インポート時に対応するローカルファイルの最大サイズは100MBです。その他の詳細な技術的制限についてはこちらをご参照ください。
インクリメンタルデータをインポートするには
1. workspaceを作成するか、既存のworkspaceを開きます。こちらをクリックして、workspaceの作成方法をご確認ください。
2. Filesオプションをデータ元から選択し、ローカルファイルをインポートします。左側のペインでFilesカテゴリーをクリックし、Filesオプションを選択することもできます。
3. ローカルファイルを段階的にインポートしたい場合は、ローカルネットワークからのインポートトグルを有効にします。
4. 有効なDatabridgeを選択し、以下の詳細を入力してください。
フォルダパス: ファイルを検索するフォルダのパスを指定します。例：D:\\DataPrep\\Datasets
サブフォルダを含める: ファイル検索時にサブフォルダも対象としたい場合は、このチェックボックスを選択できます。
ファイルパターン: 指定した場所のファイル名を照合するために使用中のパターンです。正規表現によるマッチングもサポートしています。パターン「.*」を使用すると、指定したパス内のすべてのファイルに照合できます。
メモ:ファイルパターン「照合する」はシンプルなregex種類の照合です。例えば、Sales_2022.csv、Sales_2023.csv、Sales_2024.csvのようなファイル名を取得したい場合は、Sales_.*
同様に、PublicData1.csv、PublicData2.csv、PublicData3.csvなどのファイルを取得したい場合は、公開する.*
単一ファイルをインポートする場合は、パターンを正確なファイル名で指定してください。
例：leads_jan_2022.*
ファイルのパース方法: ファイルをパースするために必要な拡張子を選択してください。ファイル形式が一般的に使用されているものと異なる場合、このオプションを使用し、インポート前にファイルを下記のいずれかの形式に変換できます。利用可能な形式はCSV、TSV、JSON、XML、およびTXTです。
メモ: 増分インポート中にデータ元に新規ファイルがない場合：チェックボックスがオフの場合：最後に取得したファイルが再度インポートされます。
チェックボックスがオンの場合：更新またはスケジュールがスキップされ、ファイルはインポートされません。
メモ: チェックボックスがオフの場合、一度に取得できるファイルは1件のみとなります。5. インポートするボタンをクリックします。データのインポートが完了すると、データセットが開き、すぐにデータの準備を開始できます。
6. データセットの準備ができたら、次回の更新前に必須の保存先へエクスポートします。
メモ:「Schedule インポートする」オプションを利用して、ワークスペース内のデータセットのインポートをスケジュールできます。または、DataPrep Studioページ上部のインポートするメニューからも設定可能です。こちらをクリックして詳細をご覧ください。
パイプラインの複雑さに応じてデータセットのスケジュールを設定してください。インポート、データ処理、エクスポートのために十分な時間を確保しましょう。
増分同期の仕組み
7. データセットのインポートがスケジュールされると、インポート時刻または前回のスケジュール時刻が記録されます。最初は最も古いファイルのみが取得済みとなります。各同期が正常に完了するたびに、最後の同期日時が新しい値で更新され、その時刻以降に作成または更新されたファイルがインポートされます。指定した場所に新規または更新済みのファイルがない場合は、データはインポートされません。データが同期されなかった場合でも、同期が試行されたため同期時刻は更新されます。次回はこの同期時刻以降に作成または更新されたファイルが取得されます。
メモ: データセットのエクスポート先をスケジュールしてください。スケジュールしない場合、データは継続的にインポートされますが、エクスポートする操作を行わなければデータが失われる可能性があります。
8. ファイルから取得済みデータの番号をOperations 履歴パネルでSync ステータスページで確認できます。
各syncステータスの横にあるOperations 履歴アイコンをクリックすると、データセットに対して行われた変更や、過去の都道府県、インポートする・エクスポートするスケジュールをタイムラインで表示・追跡できます。
また、頻度syncの処理済みデータをProcessing 履歴パネルで確認できます。