FTPサーバーからの増分データのインポート
DataPrep では、FTP から CSV、TSV、JSON、XML、TXT など様々なファイルタイプをインクリメンタルにインポートできます。
FTP サーバーからファイルをインクリメンタルにインポートする方法
1. ワークスペースを作成するか、既存のワークスペースを開きます。こちらをクリックして、ワークスペースの作成方法をご覧いただけます。
2. 選択する your data データ元セクションからFTPオプションを選択するか、左側のペインにあるFilesカテゴリーから選択します。
メモ: 以前にFTP接続を追加済みの場合は、FTP servers のSaved 外部連携 セクションから既存の接続を選択し、そのままインポートを続行できます。Saved data 外部連携の詳細については、こちらをクリックしてください。
3. FTPサーバーからローカルファイルを段階的にインポートしたい場合は、インポートする 差出人 local networkのトグルを有効にしてください。
3. 有効なDatabridgeを選択してください。
4. サーバーに接続しファイルを取得するためのFTP接続を設定してください。
5. FTP server 種類のドロップダウンから、以下のいずれかの設定を選択します。
-
FTP - ファイル転送
-
FTPS - Implicit TLS/SSL を使用したファイル転送
-
FTPS - Explicit TLS/SSL を使用したファイル転送
-
SFTP - SSH ファイル転送プロトコル
6. FTP server hostを入力します。サーバーのIPアドレスまたはFQDN（完全修飾ドメイン名）も指定できます。
7. 認証が必要な場合は、ユーザー名とパスワードを入力してください。
8. Connection 名前テキストボックスに、接続の名前を入力します。
9. 接続ボタンをクリックし、以下の詳細を入力します。
フォルダパス：ファイルを検索する場所となるフォルダパスを指定します。例：/srv/ftp/filesfortest/
含めるサブフォルダ：ファイル検索時にサブフォルダも対象にしたい場合、このチェックボックスを選択できます。
ファイルパターン：指定した場所のファイル名を照合する際に使用するパターンです。正規表現によるマッチングもサポートしています。すべてのファイルを対象としたい場合は '.*' のパターンも利用できます。
例えば、次のようなファイル名Sales_2022。csv , Sales_2023。csv , Sales_2024。csvを取得したい場合は、パターンとしてSales_.* を入力します。
同様に、PublicData1。csv , PublicData2。csv , PublicData3。csvなどのファイルを取得したい場合は公開する.*
特定の拡張子、たとえばcsvファイル（file1。csv , file2。csv , file3。csvなど）をインポートする場合は、.*.csvを使用します。
単一のファイルをインポートしたい場合は、正確なファイル名でパターンを指定してください。
例：leads_jan_2022.*
メモ: 増分インポート中にデータソースに新規ファイルがない場合:チェックボックスがオフの場合: 最後に取得したファイルが再度インポートされます。
チェックボックスがオンの場合: 更新やスケジュールはスキップされ、ファイルはインポートされません。
メモ: このチェックボックスがオフの場合、1度に取得できるファイルは1つのみです。10. インポートするをクリックして、FTPサーバーからZoho DataPrepへデータをアップロードします。
11. データのインポートが完了すると、データセットが開き、すぐにデータの準備を開始できます。
12. データセットの準備ができたら、次回の更新前に必須の宛先へエクスポートしてください。
メモ:「Schedule インポートする」オプションを利用し、ワークスペース内のデータセットやDataPrep Studioページ上部のインポートするメニューからインポートのスケジュール設定が可能です。こちらをクリックして詳細をご覧ください。
パイプラインの複雑さに応じてデータセットのスケジュールを設定してください。インポート、データ処理、エクスポートに十分な時間を確保しましょう。
インクリメンタル同期の仕組み
13. データセットがインポートのスケジュールに設定されると、インポートした時刻または最後にスケジュールされた時刻が記録されます。最初は最も古いファイルのみが取得されます。以降の同期が成功するたびに、最後の同期日時が新しい値で更新され、同期時刻以降に作成または更新されたファイルがインポートされます。指定された場所に新規または更新済みファイルが存在しない場合は、データはインポートされません。データが同期されなかった場合でも、試行したため同期時刻が更新されます。次回以降は、この同期時刻以降に作成または更新されたファイルが取得されます。
メモ: 必ずエクスポート先のスケジュールをデータセットに対して設定してください。設定しない場合、データは継続的にインポートされますが、エクスポートしないとデータが失われる可能性があります。
ファイルから取得されたデータ数はOperations 履歴パネルのSync ステータスページで確認できます。
Operations 履歴アイコンを各 sync ステータスの横でクリックすると、データセットやその過去の状態、インポート・エクスポートスケジュールの変更内容をタイムラインで表示・追跡できます。
「Processing 履歴」パネルで、頻度同期における処理済みデータの認証も可能です。「Processing 履歴 」オプションをクリックすると、サイドパネルが開き、データセットで利用可能なすべての処理済みデータIDと作成日時が一覧表示されます。
また、データ上にカーソルを合わせた際に表示されるアイコンをクリックすることで、処理済みデータのダウンロードや認証も行えます。
Manual 更新する
14. 最後の同期日時以降の次のファイルを手動で取得するには、更新する data 差出人 データ元オプションを使用します。
「DataPrep studio」ページで、上部のメニューバーにあるインポートメニューを選択し、「更新する data 差出人 データ元」をクリックします。このオプションを利用すると、データ元からデータを再読み込みし、最新のファイルでデータセットを更新できます。
手動で更新する際は、最後の同期日時以降に新たに追加または更新されたファイルのみがデータセットにインポートされます。
ケース1：途中のファイルをスキップしたい場合
例えば、FTPサーバーパスに合計で10個のファイルがあるとします。ユーザーは3から5のファイルをスキップしたいと考えています。以下は、インクリメンタル取得時に特定のファイルをスキップする手順です。
インクリメンタル取得時に途中のファイルをスキップするには、下記の手順に従ってください。
1) 一般的なファイルパターンを使用してファイルをインポートします。例：テスト-.*
2) 最初は最も古いファイルのみが取得されます。例：テスト-1_csv。csv。
同期が正常に完了すると、最後の同期日時が新しい値で更新され、その時間以降に作成または更新されたファイルがインポートされます。
3) データのインポート後、エクスポートする nowオプションをエクスポートするメニューからDataPrep Studioページ上でクリックし、必須の保存先へエクスポートしてください。再読み込み前にこの操作を行わないとデータが失われます。
4) DataPrep studioページで、上部の棒グラフからインポートするメニューを選択し、更新する data 差出人 データ元をクリックします。
5) 次のファイル、つまりテスト-2_csv.csvは段階的に取得されます。再度、必須の保存先にエクスポートしてください。再読み込み前にこの操作を行わないとデータが失われます。
6) rulesetアイコンをDataPrep Studioページ右上でクリックし、Rulesetペインを表示します。
7) Rulesetペインで、data データ元設定アイコンをクリックして、Data データ元詳細ページを開きます。
8) data データ元 詳細ページで、次にインポートしたい特定のファイルパターン差出人をFile pattern項目に入力します。「更新する」をクリックします。例：テスト-6_csv。csv.*
9) DataPrep studioページに移動し、上部の棒グラフ内にあるインポートするメニューを選択し、「更新する data 差出人 データ元」をクリックします。
ファイル「テスト-3」「テスト-4」「テスト-5」はスキップ済みとなり、「テスト-6」は取得済みとなります。更新済み時間も記録されます。
このファイルを必須の宛先へエクスポートします。
7) 再度、data データ元 詳細ページに移動し、ファイルパターンを汎用的な形式に変更します。例：テスト-.*
8）データのインポートするおよびエクスポートするをスケジュールして、パイプラインを設定します。
9）インポートするをスケジュールするには、
a. Schedule インポートするリンクをクリックします。
b. Schedule configセクションで、繰り返し方法（頻度「N」時間、頻度 day、毎週1回、毎月1回）を選択します。Perform 頻度オプションで繰り返しの時間（すなわち頻度）を選びます。
タイムゾーンを選択してデータのエクスポートを行います。初期設定では、ご利用のローカルタイムゾーンが選択されています。
c. インポートする 新規 columns found in the データ元 dataを希望する場合は、チェックボックスを選択します。
d. 保存をクリックして、データセットのインポートするをスケジュールします。
10）インポートするのスケジュール後、エクスポートするのスケジュールもデータセットに対して設定してください。設定しない場合、インポートするは継続的に完了しますが、エクスポートするが設定されていないとデータが失われる可能性があります。
11）スケジュール後、同じパターンの新規ファイルは、最後に同期した時間を基準に段階的に取得されます。例：テスト-7、テスト-8 などが段階的にインポートされ、通常の間隔でエクスポートされます。
ケース2：途中からファイルをインポートする場合
例えば、FTPローカルパスにファイルが合計10個あります。ユーザーは6番目からファイルをインポートしたいと考えています。増分取得時に特定のファイルからインポートを開始する手順は以下の通りです。
インクリメンタルフェッチ中にファイルをインポートするには、以下の手順に従ってください。
1) 特定のファイルパターンを使ってファイルをインポートします。
例：テスト-6_csv。csv.*
5. Ruleset ペインで、data データ元設定アイコンをクリックします。し、Data データ元 詳細ページを開きます。
6. data データ元 詳細ページで、インポートしたい次のファイルパターンを汎用的に入力します。File pattern項目に入力し、更新するをクリックします。例：テスト-.*
7. データのインポートおよびエクスポートをスケジュールして、パイプラインを設定します。
インポートをスケジュールするには、
a) Schedule インポートするリンクをクリックします。
b) Schedule config セクションで、繰り返し メソッド（頻度'N'時間、頻度 日、週1回、月1回）を選択します。
繰り返しの時間（頻度の設定）をPerform 頻度 オプションで設定します。
データのエクスポートに使用するタイムゾーン を選択します。初期設定では、ローカルタイムゾーンが選択されています。
c) データ元データで新たに見つかった列をインポートしたい場合は、チェックボックスを選択します。
d) 保存をクリックして、データセットのインポートスケジュールを保存します。
8. インポートするのスケジューリング後、エクスポートするのスケジューリングを行い、データセットのエクスポート先を設定してください。設定しない場合、インポートするは継続的に完了しますが、エクスポートするが行われない場合、データが失われます。
9. スケジューリング後は、同じパターンの新規ファイルが、最後に同期された時間をもとに増分で取得済みとなります。例：テスト-7、テスト-8 など。すべての新規ファイルは増分インポートされ、通常の間隔でエクスポート済みとなります。
メモ:データを変更すると、エクスポート先で複製するデータが発生する可能性があります。そのため、データの変更は推奨しておりません。