クラウドストレージサービスからの増分データのインポート

クラウドストレージサービスからの増分データのインポート

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

 
増分データ取得は、元データから新規または更新済みのファイルをインポートするための方法です。Zoho DataPrepでは、次のクラウドストレージサービスから、詳細選択機能を使用して増分データをインポートできます。
 
  • Google ドライブ
  • Zoho WorkDrive
  • Amazon S3
  • Dropbox
  • Box
  • Microsoft OneDrive
  • SharePoint
 

 インポートを開始するには    

 
1. 既存のパイプラインを開くか、［パイプラインを作成］する場合は、［ホーム］ページ、［パイプライン］タブ、または［ワークスペース］タブから行い、［データを追加］をクリックします。

情報情報：［データのインポート］ アイコンをパイプラインの作成画面上部でクリックすると、複数の元データからデータをパイプラインに取り込むこともできます。
 
 
2. 左ペインで［クラウドストレージ］カテゴリーを選択し、必要なクラウドストレージサービスをクリックします。検索ボックスでクラウドストレージサービスを検索することもできます。

 
注記メモ：以前にデータ連携を追加している場合は、左ペインの［保存済みのデータ連携］カテゴリーをクリックして、インポートを続けます。保存済みのデータ連携の詳細は、こちらをクリックしてください。

3. データ連携をすでに追加している場合は、既存のデータ連携をクリックして、データのインポートを開始します。

注記メモ：新しいアカウントを追加するには、［新しく追加する］リンクをクリックします。必要な数だけデータ連携を作成できます。
 
 
 
4. クラウドストレージのアカウントを認証します。初回認証時には、DataPrepによるファイルへのアクセスを許可する必要があります。

情報情報：Zoho WorkDriveでは、Zoho DataPrepへのログインに使用したWorkDriveアカウントからデータが直接取得されます。


 
注記
メモ：今後クラウドストレージからデータをインポートする際に使用できるよう、データ連携の設定が保存されます。認証情報は安全に暗号化されて保存されます。

詳細選択による増分データのインポート

5. データを増分方式でインポートするには、［詳細選択］リンクをクリックします。




詳細選択では、正規表現に基づいてファイルを動的に選択できます。これにより、クラウドストレージのアカウントから新規または更新済みのデータを取得できます。ファイルのパターンに一致するデータファイルが、クラウドストレージサービスから取得されます。
各クラウドストレージサービスで詳細選択を使用する方法については、以下のリンクから確認できます。
情報情報：クラウドストレージからの増分取得では、CSV、TSV、JSON、XML、TXTのファイル形式のみサポートされています。

6. データのインポートが完了すると、ビジュアルパイプラインビルダーが開き、加工処理の適用を開始できます。また、ステージを右クリックして［データを準備］を選択し、DataPrepのStudioページでデータを準備することもできます。こちらで加工処理の詳細を確認できます。


 
7. データフローを作成し、各ステージに必要な加工処理を適用したら、ステージを右クリックして［エクスポート先を追加］し、データフローを完成させます。
8. パイプラインにエクスポート先を追加したら、まず手動での実行でパイプラインを実行します。手動での実行が正常に動作することを確認したら、［実行を予約］してパイプラインを自動化できます。実行の種類については、こちらをご確認ください。
予約、バックフィル、手動での再読み込み、Webhook、Zoho Flowを設定する際は、すべての元データについてインポート設定を行う必要があります。インポート設定を行わないと、実行を保存できません。インポート設定の設定方法については、こちらをご確認ください。

9. 実行を設定すると、実行時にパイプライン処理が作成されます。処理のステータスと詳細は、処理の概要で確認できます。こちらで処理の概要の詳細を確認できます。


詳細選択のインポート設定

詳細選択を使用してクラウドストレージからデータをインポートする場合、次の［インポート設定］オプションを使用して、クラウドストレージからのデータのインポート方法と増分データの取得方法を設定できます。

インポート設定を行うには、こちらのリンクを選択します。

次は、予約設定画面の例です。

 


データソースからデータをインポートするには？
ドロップダウンから、データのインポート方法として［すべてのデータをインポートする］、［増分ファイルの取得］、［データをインポートしない］のいずれかを選択します。

 ［すべてのデータをインポートする］   

このオプションでは、ファイルのパターンに一致する利用可能なすべてのデータがインポートされます。

 

 

［ファイルのバッチサイズ］： すべてのファイルをインポートする場合のバッチサイズを指定します。ファイルは、最初の更新日時に基づいて指定した数ごとにグループ化されます。これらのファイルは1つのファイルとしてインポートされ、実行のたびにエクスポート先へエクスポートされます。

情報
情報：ファイルのバッチサイズに10を超える値は指定できません。このオプションは、クラウドストレージの詳細選択でのみ使用できます。

 ［増分ファイルの取得］   

クラウドストレージからのデータのインポート方法と増分データの取得方法を、［インポート設定］オプションで設定できます。増分データのインポートは、新規または更新済みのレコードを元データからインポートする方法です。

 

［インポートするファイル］このオプションでは、［すべてのファイル］、［最新のファイル］、［最も古いファイル］のいずれかを選択してインポートできます。

 ［すべてのファイル］   

このオプションでは、指定したファイルのパターンに一致するすべてのファイルのうち、［取得基準］項目に基づく指定したデータの範囲内にあるファイルのみがインポートされます。


［取得基準］：ファイルの並べ替えとインポートの基準とする日時として、［更新日時］または［作成日時］を選択できます。
注記メモ：Google ドライブ、OneDrive、SharePoint、Boxには、modifiedTimeとcreatedTimeがあります。
DropboxとAmazon S3にはmodifiedTimeのみがあり、作成日時はありません。

［ファイルのバッチサイズ］：すべてのファイルを増分インポートする場合のバッチサイズを指定します。ファイルは、指定したデータの範囲内における最初の作成日時または更新日時に基づいて、指定した数ごとにグループ化されます。これらのファイルは1つのファイルとしてインポートされ、実行のたびにエクスポート先へエクスポートされます。

情報情報：ファイルのバッチサイズに10を超える値は指定できません。このオプションは、クラウドストレージの詳細選択でのみ使用できます。
 

 ［最新のファイル］   

この設定では、指定したファイルのパターンとデータの範囲に一致する最新のファイルを、［取得基準］項目に基づいてインポートします。


 最も古いファイル   

この設定では、指定したファイルのパターンとデータの範囲に一致する最も古いファイルを、［取得基準］項目に基づいてインポートします。


データがない場合の動作

増分インポート時に、［詳細設定］リンクをクリックし、元データに新しいデータがない場合の動作を選択します。



  • ［パイプラインの実行を失敗にする］：インポートが失敗し、データはインポートされません。パイプラインの処理は失敗として記録されます。これは標準の設定です。
  • ［パイプラインの実行をスキップする］：インポートは実行されず、パイプラインの処理はスキップ済みとして記録されます。スキップ済みの処理については通知されません。
  • ［無視して続ける］：この元データを空のデータとして、パイプラインを実行します。
  • ［前回のデータを使用する］：前回のインポートで取得したデータを再度インポートします。

 

 データをインポートしない   

データは一度だけインポートされます。2回目以降は、同じデータにルールが適用され、エクスポートされます。

 


 
増分同期の仕組み

元データから増分データをインポートおよび取得する方法は、インポート設定で設定できます。増分データのインポートは、指定したデータの範囲内にある新規または更新済みのレコードをインポートする方法です。

増分ファイルの取得では、パイプラインを実行すると、新規または更新済みのファイルが取得されます。データの範囲ごとに、前回のデータの範囲より後に作成または更新されたファイルがインポートされます。クラウドストレージに新しいファイルがない場合は、インポート設定に応じて、データをインポートしないか、以前にインポートしたデータを再度取得します。次のデータの範囲では、その範囲内で作成または更新されたファイルが取得され、以降も同様に処理されます。

予約実行時の増分取得 

増分ファイルの取得では、パイプラインを予約すると、最初の予約のデータの範囲は、前回の範囲から現在のデータの範囲までになります。この範囲内にある新規または更新済みのファイルがすべて取得されます。2回目の予約では、現在の範囲から次の範囲までが対象となり、それ以降の予約も同様に処理されます。 
 
たとえば、予約の間隔を1時間に設定します。データソースには合計10個のファイルがあり、そのうち5個は1時間前にアップロードされ、ファイルのパターンに一致しています。インポート設定では、すべてのファイルを増分方式でインポートするよう設定し、バッチサイズを10に設定します。



最初の予約を実行すると、過去1時間以内に作成または更新された5個のファイルが取得され、1つのファイルとしてエクスポートされます。
 
2回目の予約時に、同じファイルのパターンを持つ新しいファイルが元データに4個追加されている場合、指定した範囲内の元データの作成日時または更新日時に基づいて、その4個のファイルのみが取得され、1つのファイルとしてエクスポートされます。
 
3回目の予約時に、ファイルのパターンに一致する新しいファイルが元データに13個追加されている場合、バッチサイズが10に設定されているため、元データの作成日時または更新日時に基づいて最初の10個のファイルのみが取得され、1つのファイルとしてエクスポートされます。以降の予約で増分取得されるファイルにも、同じ処理が適用されます。

こちらをクリックすると、予約実行について確認できます。

バックフィル実行時の増分取得

 
増分ファイルの取得では、パイプラインにバックフィルの実行を設定すると、指定したデータの範囲内にあるすべての増分ファイルが取得されます。


たとえば、バックフィルを8月1日から3日まで、処理頻度を毎日に設定します。8月1日には4個、8月2日には7個、8月3日には13個のファイルがあります。インポート設定では、すべてのファイルを増分方式で取得するよう設定し、バッチサイズを10に設定します。

最初のバックフィル処理では、8月1日に作成または更新された4個のファイルが取得され、1つのファイルとしてエクスポートされます。2回目のバックフィル処理では、8月2日の7個のファイルが同様に処理され、エクスポートされます。3回目のバックフィル処理では、8月3日の最初の10個のファイルが取得され、1つのファイルとしてエクスポートされます。

こちらをクリックすると、バックフィルの実行について確認できます。
 

再読み込み時の増分取得

増分ファイルの取得では、パイプラインに再読み込みを設定すると、指定したデータの範囲内にあるすべての新規または更新済みのファイルが取得されます。
 
たとえば、再読み込みの範囲を8月1日から2日までに設定します。
8月1日には3個、8月2日には4個のファイルがあります。インポート設定では、最も古い作成日時に基づいてすべてのファイルを増分方式で取得するよう設定し、バッチサイズを5に設定します。
再読み込み処理では、8月1日に作成された3個のファイルと、8月2日に作成された最初の2個のファイルが取得され、1つのファイルとしてエクスポートされます。

こちらをクリックすると、再読み込みについて確認できます。

関連情報
新しいパイプラインを追加するには
Zoho DataPrepで利用できるその他のクラウドストレージのオプション
パイプラインを予約するには     
保存済みのデータ連携からデータをインポートするには