Boxからの増分データのインポート

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

インクリメンタルデータフェッチは、前回の同期以降にデータ元に追加された新規ファイルのみをインポートする方法です。 Zoho DataPrep では、詳細選択機能を使用して箱からインクリメンタルデータをインポートできます。

インクリメンタルデータをインポートする方法

1. 左側のペインからCloud storageカテゴリを選択し、箱をクリックします。また、検索ボックスで箱を検索することもできます。

メモ: 既に箱の接続を追加済みの場合は、左側のペインからSaved 外部連携カテゴリをクリックし、そのままインポートを続行できます。Saved 外部連携の詳細については、こちらをご参照ください。

2. 追加済みの接続がある場合は、既存の接続をクリックし、データのインポートを開始してください。

メモ: 新しく追加するリンクをクリックして、新しい箱アカウントを追加します。必要に応じて、複数の箱外部連携を作成できます。

3. 箱アカウントを認証してください。初めて操作する際には、DataPrepへの認証が必要です。

メモ: 接続設定は、今後箱からデータをインポートする際に保存されます。認証情報は安全に暗号化されて保存されます。

4. 増分でデータをインポートするには、 詳細選択 リンクをクリックします。

詳細選択では、regexに基づいた動的なファイル選択が可能です。これは新規または増分データを箱アカウントから取得する際に利用できます。ファイルパターンに一致する新規または更新済みファイルは、前回の同期以降に箱アカウントから取得されます。

詳細の必須項目は以下の通りです：

フォルダーパス ：ファイルを検索したいフォルダーのパスを指定します。例：2023/

ファイルがドライブ直下に保存されている場合は、この項目を空にすることができます。

情報: フォルダーパスは大文字と小文字を区別します。

メモ: 箱で最近作成されたファイルは、DataPrepでインポートする際に反映されるまで最大10分かかる場合があります。

含める subfolders : ファイル検索時にサブフォルダも含めたい場合は、含める subfolders チェックボックスを選択してください。

File pattern : アカウント内のファイル名を照合する際に使用されるパターンです。正規表現タイプのマッチングをサポートしています。指定したパス内のすべてのファイルにマッチさせたい場合は、'.*' というパターンも利用できます。

情報: File patternは大文字・小文字を区別します。

メモ: file patternの照合はシンプルな正規表現タイプのマッチングです。例えば、Sales_2022。csv、Sales_2023。csv、Sales_2024。csv のようなファイル名を取得する場合は、パターンとして Sales_.* を入力できます。

同様に、PublicData1。csv、PublicData2。csv、PublicData3。csv などのファイルを取得したい場合は、公開する.* を使用します。

単一ファイルをインポートしたい場合は、正確なファイル名を使ってパターンを指定してください。
例: leads_jan_2022.*

Parse file as : ファイルを解析するために必要な拡張子を選択します。ファイル形式が一般的に使用されているものと異なる場合は、このオプションを利用して、データを読み取り可能な形式でインポートする前にCSV、TSV、JSON、XML、TXTのいずれかの形式に変換できます。

更新済み時間に基づいて新規ファイルをフェッチ: このチェックボックスを使用すると、各スケジュールインポートまたは更新（データ元からのデータ更新）時に、更新済み時間に基づいて新規ファイルを段階的に取得できます。DataPrepは、以前にインポートしたファイルの更新済み時間より後に更新されたファイルパターンに一致するファイルを取得します。

メモ: インクリメンタルインポート時にデータ元に新規ファイルがない場合:

チェックボックスがオフの場合：前回取得したファイルが再度インポートされます。
チェックボックスがオンの場合：更新またはスケジュール処理はスキップされ、ファイルはインポートされません。

ファイルをマージしてインポートする - 指定したパターンに一致するすべてのファイルをマージし、1つのデータセットとしてインポートします。

情報: このオプションでは、一度に最大5ファイルまでしかマージできません。

メモ: このチェックボックスがオフの場合、一度に取得されるファイルは1つのみとなります。

例：箱アカウントに10ファイルがある場合、最初の5ファイルが1つのデータセットにマージされてインポートされます。次回の更新時に、残りの5ファイルがマージされてインポートされます。

同様に、箱アカウントに8ファイルある場合は、最初の5ファイルが先にマージ・取得され、その後残りの3ファイルが続けて取得されます。

必須詳細を入力し、 インポートする ボタンをクリックしてください。

メモ: クラウドストレージからのインクリメンタル取得では、CSV、TSV、JSON、XML、TXTファイル形式のみサポートしています。

5. データのインポートが完了すると、データセットが開き、すぐにデータの準備を開始できます。

6. データセットが準備できたら、次回の更新前に、必要な宛先へエクスポートしてください。

メモ: ワークスペース内のデータセットに対して、Schedule インポートするオプションや、DataPrep Studioページ上部のインポートするメニューから、インポートのスケジュール設定が可能です。こちらをクリックして詳細をご覧ください。

パイプラインの複雑さに応じてデータセットのスケジュールを設定してください。インポート、データ処理、エクスポートに十分な時間を確保しましょう。

増分同期の仕組み

7. データセットをインポートするようスケジュールすると、imported 時間またはlast scheduled 時間が記録されます。初回は最も古いファイルのみが取得済みとなります。以降、同期が成功するたびに最後の同期日時が新しい値で更新され、同期時間以降に作成または更新済みのファイルがインポートされます。新規または更新済みファイルが箱内にない場合はデータはインポートされません。データが同期されなかった場合でも、試行が行われたため同期時間は更新されます。次回は、この同期時間以降に作成または更新済みのファイルが取得されます。

メモ: 必ずエクスポートする先をデータセットの宛先としてスケジュールしてください。設定しない場合、データは継続的にインポートされますが、エクスポートする設定がないとデータが失われます。

取得済みデータの件数を認証することが、Operations 履歴パネルのSync ステータスページで可能です。

各syncステータスの横にあるOperations 履歴アイコンをクリックすると、データセットへの変更履歴、以前の状態、インポート・エクスポートスケジュールをタイムライン形式で表示・追跡できます。

できることは、 Processing 履歴 パネルで、処理済みデータの同期頻度を認証することも可能です。「Processing 履歴」オプションをクリックすると、サイドパネルが開き、データセットで利用可能なすべての処理済みデータIDと作成日時が一覧表示されます。

また、データ上にカーソルを合わせた際に表示されるアイコンをクリックすることで、処理済みデータをダウンロードおよび認証することもできます。

Manual 更新する

8. 最後の同期日時の後に次のファイルを手動で取得するには、 更新する data 差出人データ元 オプションを使用できます。

DataPrep studio ページから、上部のメニューにあるインポートするを選択し、データ元からデータを更新するをクリックします。このオプションを使用すると、データ元からファイルを再読み込みし、最新のデータセットに更新できます。

手動で更新する場合、最後の同期日時以降に新しく追加または更新されたファイルのみがデータセットに取り込まれます。

メモ: すべての新規追加または更新済みファイルは、グリニッジ標準時（GMT）/ UTCに基づいてインクリメンタルに取得されます。

ケース1：途中のファイルをスキップしたい場合

例えば、箱のフォルダに合計10個のファイルがあり、ユーザーは3番から5番のファイルをスキップしたいとします。以下は、インクリメンタル取得中に特定のファイルをスキップする手順です。

途中のファイルをインクリメンタル取得中にスキップするには、以下の手順に従ってください。

1) 一般的なファイルパターンを使用してファイルをインポートします。例：見込み客.*

2) 最初は、最も古いファイルのみが取得済みとなります。例：leads1_2024-01-29_13-02-04.csv

同期が正常に完了すると、最後の同期日時が新しい値で更新され、同期時間以降に作成／更新されたファイルがインポートされます。

3) データをインポートした後、 エクスポートする now オプションを エクスポートする メニューから、 DataPrep Studio ページでクリックし、エクスポート先に保存してください。再読み込みの前に必ずエクスポートを行わないと、データが失われます。

4) DataPrep studio ページの上部バーにあるインポートするメニューを選択し、更新する data 差出人データ元をクリックします。

5）次のファイル、すなわち leads2_2024-01-29_13-10-20.csv は、段階的に取得されます。再度、リロードする前に必須の保存先へエクスポートしてください。そうしないとデータが失われます。

6）右上のルールセットアイコンをクリックし、DataPrep Studio ページでRulesetペインを表示します。

7）Rulesetペインで、データ元設定アイコンをクリックし、Data データ元詳細ページを開きます。

8）Data データ元詳細ページで、インポートしたいファイルパターンを File pattern項目に入力します。 更新するをクリックしてください。例： leads6_2024-02-21_12-32-51.csv.*

9) 移動先 DataPrep studio ページへ移動し、 インポートする メニューを上部の棒グラフから選択し、 更新する data 差出人データ元をクリックします。

leads3、leads4、leads5のファイルはスキップ済みとなり、leads6のファイルは取得済みとなります。更新済み時間は記録されます。

このファイルを必須の送信先にエクスポートします。

10) 再度、data データ元詳細ページに移動し、ファイルパターンを汎用的な形式に変更します。例：見込み客.*

11) データのインポートとエクスポートをスケジュールして、パイプラインを設定します。

12) インポートのスケジュール方法：

a. Schedule インポートするリンクをクリックします。

b. Schedule config セクションで、繰り返し 方法（頻度をN時間ごと、1日ごと、週1回、月1回）を選択します。また、Perform 頻度 オプションで繰り返しの時間（頻度）を設定します。

タイムゾーン を選択してデータのエクスポートを行います。初期設定では、ローカルのタイムゾーンが選択されています。

c. データ元データ内で新規カラムが見つかった場合にインポートする新規 columns found in the データ元 dataをインポートする場合は、チェックボックスを選択します。

d. 保存をクリックして、データセットのインポートをスケジュールします。

13）インポートするのスケジュール設定後、エクスポートのスケジュールを設定して、データセットの保存先を指定してください。設定しない場合、インポート処理は継続されますが、エクスポートが行われないためデータが失われます。

14）スケジューリング後は、同じパターンの新しいファイルが、最後に同期した時間を基準に段階的に取得されます。例：leads7、leads8などが段階的にインポートされ、一定間隔でエクスポートされます。

ケース2：ファイルを途中からインポートしたい場合：

例えば、箱内のフォルダーに合計10ファイルがあり、ユーザーが6番目からファイルをインポートしたい場合の手順です。段階的フェッチ中に特定のファイルからインポートを開始する方法を以下に示します。

段階的フェッチ中に途中からファイルをインポートするには、以下の手順に従ってください。

1. 特定のファイルパターンを指定してインポートします。
例： leads6_2024-02-21_12-32-51.csv.*

2. 最初は、特定のファイルのみが取得済みとなります。例：leads6_2024-02-21_12-32-51。csv

頻度の同期が成功すると、最後の同期日時が新しい値に更新され、同期時間の後に作成または更新されたファイルがインポートされます。

3. データのインポート後、 エクスポートする now オプションを エクスポートする メニューから DataPrep Studio ページでクリックし、エクスポート先に保存してください。リロード前にエクスポートしないと、データが失われる可能性があります。

4. 右上の ruleset アイコンをクリックすると、 DataPrep Studio ページでRulesetペインが表示されます。

5. Rulesetペインで、データ元設定アイコンをクリックし、Data データ元詳細ページを開きます。

6. データデータ元詳細ページで、次にインポートしたいファイルの一般的なパターン（例: 差出人）を ファイルパターン 項目に入力します。 更新するをクリックします。例：見込み客.*

7. データのインポートおよびエクスポートをスケジュールして、パイプラインを設定します。

インポートをスケジュールするには、

a) インポートのスケジュール リンクをクリックします。

b) スケジュール設定 セクションで、 繰り返し 方法（N時間ごと、毎日、週1回、月1回）を選択します。「Perform 頻度」オプションで繰り返しの時間（頻度）を設定します。

データのエクスポートに使用する タイムゾーン を選択します。初期設定では、ローカルタイムゾーンが選択されています。

c) データ元データに新しいカラムが見つかった場合にインポートしたい場合は、チェックボックスを選択します。

d) 保存をクリックして、データセットのインポートスケジュールを確定します。

8. インポートのスケジューリング後、エクスポートもスケジューリングし、データセットの出力先を設定してください。設定しない場合、インポートは継続的に完了しますが、エクスポートされないためデータが失われます。

9. スケジューリング後は、同じパターンの新規ファイルが最終同期時刻を基準として段階的に取得されます。例：leads7、leads8など。すべての新規ファイルは段階的にインポートされ、通常の間隔でエクスポートされます。

メモ: データを変更すると、出力先でデータが複製される可能性があります。そのため、データの編集は推奨しません。