お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

ステージを手動で最新のデータに更新することができます。データ元から再読み込みを行うことで、スケジュール実行時に失敗したデータも取得可能です。これはETLワークフローの一部であり、データの移動を確実にし、必要に応じて最新のデータを取得して正確なデータ統合を実現します。

メモ: Manual更新はスケジュールやバックフィル実行には影響しません。

データを更新する手順 

1.  パイプラインを作成、またはホームページ、Pipelinesタブ、またはWorkspacesタブから既存のパイプラインを開き、データ追加オプションをクリックします。また、データインポートオプションをWorkspacesタブ内でクリックしてデータをインポートすることもできます。

Info: できること または パイプラインビルダーの上部にあるインポートする data アイコンをクリックして、複数のソースからパイプラインにデータを取り込むことができます。

2. 次の画面で、必須データ元を選択します。また、左側のペインから以下のカテゴリのいずれかを選択することもできます。

• ファイル

• データベース

• クラウドストレージ

• クラウドデータベース

• Zohoアプリ

• 保存済み外部連携
  

3. すべてのファイルが正常にインポートされると、Pipeline builderページに移動し、トランスフォームの適用を開始できます。ステージを右クリックして、Prepare dataオプションを選択すると、DataPrep Studioページでデータの準備が可能です。これらのトランスフォームはETLの「変換」フェーズの一部であり、データのクレンジングや整形を行い、効果的なデータ統合を支援します。トランスフォームについてはこちらをクリックしてください。 

4. データを手動で更新するには、Pipeline builderページで省略記号アイコンをクリックし、更新する dataオプションを選択します。この操作でデータの移動が実行され、最新のデータ元からETLパイプラインへデータが流れるようになります。

データ間隔

重要：データを増分インポートしたい場合のみ、データ間隔の入力が必要です。増分インポートは、ETLにおけるデータ移動を最適化し、オーバーヘッドを削減するための重要な戦略です。

 初期設定では、データ区間内の差出人オプションは、直近の正常な更新を基準に自動入力されます。つまり、直近の正常な更新から現在の日付・時刻までのデータが取得されます。必要に応じて編集することも可能です。

右上の編集オプションをクリックし、以下の設定でデータ区間を指定してください。

範囲を選択

差出人- このオプションを使用すると、指定した日付・時刻のパターンに一致するデータをインポートできます。

が次の間- このオプションを使用すると、指定した2つの時刻区間に一致するデータをインポートできます。

メモ: データはインポートする configuration に基づいてインポートされます。これにより、実行ごとに一貫したデータ統合が維持されます。

インポートする configuration

情報: 以下の設定はクラウドストレージサービスに適用対象です。これらのインポートする設定は、選択済みのデータ元によって異なる場合があります。他のデータソースやデータ間隔が適用対象となるタイミングについては、下記のインポートする configuration テーブルをご参照ください。

インポートする 差出人 データ元 file

このオプションを選択すると、データ元ファイルからすべてのデータがインポートされます。詳細選択方法を使用せずにインポートする場合に利用できます。

 インポートする すべて data     

このオプションを選択すると、ファイルパターンに一致するすべての利用可能なデータがインポートされます。

情報：File バッチサイズは10を超えることはできません。このオプションは、クラウドストレージ、FTP、およびローカルファイルシステムでの詳細選択時のみ利用可能です。

 インクリメンタルファイルフェッチ     

このオプションを使用して、クラウドストレージからインクリメンタルデータをインポート・取得する方法を設定できます。インクリメンタルデータインポートは、前回の同期以降に新規または更新されたデータのみをインポートする方法です。この戦略により、効率的なデータ移動と信頼性の高いデータ統合が可能になります。

新しいデータが利用できない場合は、以前インポートしたファイルを使用： 

1. チェックボックスがオンの場合：データ元にいいえ 新規データが存在する場合、最後に取得済みのデータが再度インポートされます。
2. チェックボックスがオフの場合：データ元にいいえ 新規データが存在する場合、インポートする処理が失敗し、いいえファイルもインポートされません。そのため、パイプラインジョブ全体が失敗します。

どのファイルをインポートするか？次のいずれかを選択してインポートできます：すべてのファイル、最新ファイル、または最古ファイルを、このオプションで指定できます。

 すべてのファイル     

このオプションを選択すると、指定したファイルパターンに一致し、かつ特定のデータ区間内のすべてのファイルが、「Fetch based オン」項目に基づいてインポートされます。

メモ: GoogleDrive、OneDrive、SharePoint、箱には、modifiedTimeとcreatedTimeが設定されています。
DropBox、Amazon S3にはmodifiedTimeのみがあり（作成時間はありません）

情報: ファイルバッチサイズは10を超えることはできません。このオプションはクラウドストレージ、FTP、ローカルファイルシステムの詳細選択でのみ利用可能です。

 最新ファイル     

このオプションを選択すると、指定したファイルパターンに一致し、指定したデータ間隔内で「Fetch based オン」項目に基づいた最新のファイルがインポートされます。

 最古ファイル     

このオプションを選択すると、指定したファイルパターンに一致し、指定したデータ間隔内で「Fetch based オン」項目に基づいた最も古いファイルがインポートされます。

 dataをインポートしない     

データのインポートは一度だけ行われます。2回目以降は、同じデータに対してルールが適用され、エクスポート済みデータとなります。

6. インポート設定とデータ間隔の設定後、データを更新をクリックします。データ更新は正常に実行されます。

7. データのリロードが完了したら、必要な変換を適用し、宛先を追加して手動実行によりデータをエクスポートできます。

重要: 手動実行およびリロードしたデータのエクスポートを必ず行い、スケジュール実行中のデータ損失を防いでください。また、OutputタブのJob概要ページからデータをダウンロードすることも可能です。手動でETLパイプラインを更新するたびに、ジョブが作成されます。

クラウドストレージでのシンプル選択によるインポート設定

正規表現パターンを使用しないデータインポートは「シンプル選択」と呼びます。クラウドストレージサービスからシンプル選択方式でデータをインポートする場合は、以下の設定をご参照ください。

Data データ元	データ元からデータをインポートする方法	Data interval 適用対象かどうか
クラウドストレージ	データ元ファイルをインポート	適用対象外
	データをインポートしない	適用対象外

クラウドストレージにおける詳細選択のインポート設定

Zoho DataPrep では、詳細選択オプションを使用してデータをインポートできます。詳細選択を利用すると、正規表現パターンをもとに動的なファイル選択が可能です。詳細選択方法でデータをインポートする場合は、以下の設定内容をご参照ください。

データ元	データ元からデータをインポートする方法	データ期間の適用対象かどうか
クラウドストレージ	すべてのデータをインポート	適用対象外
	増分ファイル取得 すべてのファイル 最新ファイル 最古ファイル	適用対象
	データをインポートしない	適用対象外

Databridgeを使用せずにデータソースからインポートする設定

Zoho Databridgeを使用せずに下記のソースからデータをインポートする場合、以下の設定を参照してください。

データ元	データ元からデータをインポートする方法	データ期間の適用対象かどうか
ローカルファイル	インポートするデータ元ファイル メモ: ファイルをアップロードするオプションを使って、新規のデータ元ファイルをアップロードできます。Parse file asオプションを利用することで、不明なファイル形式も解析可能です。	該当なし
	データをインポートしない	該当なし
URL	インポートするデータ元ファイル	該当なし
	データをインポートしない	該当なし
ローカルデータベース	すべてのデータをインポート	該当なし
	データをインポートしない	該当なし
FTPサーバー	インポートするデータ元ファイル	該当なし
	データをインポートしない	対象外

Databridgeを使用したデータソースのインポート設定

Zoho DataPrepでは、Zoho Databridgeを利用してローカルネットワークからデータをインポートできます。下記のソースからZoho Databridgeを使用してデータをインポートする場合は、以下の設定をご参照ください。

データ元	データ元からのデータインポート方法	データ間隔の適用有無
ローカルファイル	すべてのデータをインポート	対象外
	増分ファイル取得 すべてのファイル 最新のファイル 最も古いファイル	適用対象
	データをインポートしない	対象外
ローカルデータベース	すべてのデータをインポート	対象外
	更新済みおよび新規データのみ	適用対象
	インポートしないデータ	適用対象外
FTPサーバー	すべてのデータをインポート	適用対象外
	増分ファイル取得 すべてのファイル 最新ファイル 最古ファイル	適用対象
	インポートしないデータ	適用対象外

アプリケーションおよびクラウドデータベースのインポート設定

アプリケーションまたは下記のクラウドデータベースからデータをインポートする場合は、以下の設定を参照してください。

データ元	データ元からデータをインポートする方法	データ間隔の適用可否
クラウドデータベース	すべてのデータをインポート	適用対象外
	更新済みおよび新規データのみ	適用対象
	インポートしないデータ	対象外
Cloud database query インポート	更新済みおよび新規データのみ	適用対象
	インポートしないデータ	対象外
Zoho Creator	すべてのデータをインポート	対象外
	更新済みおよび新規データのみ	適用対象
	新規データのみ	適用対象
	インポートしないデータ	対象外
Zoho Analytics	すべてのデータをインポート	対象外
	更新済みデータおよび新規データのみ	対象
	データをインポートしない	対象外
Zoho CRM	すべてのデータをインポート	対象外
	更新済みデータおよび新規データのみ	対象
	新規データのみ	対象
	データをインポートしない	対象外
Zoho Bigin	新規データのみ	対象
	データをインポートしない	対象外
	すべてのデータをインポートする	対象外
	更新済みおよび新規データのみ	対象
Salesforce	すべてのデータをインポートする	対象外
	更新済みおよび新規データのみ	対象
	新規データのみ	対象
	データをインポートしない	対象外
Dataiku(Beta)	すべてのデータをインポートする	対象外
	データをインポートしない	対象外
Zoho Forms（ベータ）	新規データのみ	対象
	更新済みデータおよび新規データのみ	対象
	データをインポートしない	対象外

メモ: Zohoアプリケーションの場合、すべてのデータをインポートする オプションを選択した場合は、差出人項目に指定された日付が考慮され、データ期間ではありません。データは、差出人項目で指定した日付からインポートされます。

  

手動更新のためのインクリメンタル取得

インクリメンタルファイル取得では、パイプラインに手動更新が設定されている場合、指定したデータ期間内の新規または更新済みファイルがすべて取得されます。

 

例えば、手動更新の期間を8月1日から2日までに設定します。

8月1日には3ファイル、8月2日には4ファイルがあります。インポート設定は、最も古い作成時間を基準に、すべてのファイルをバッチサイズ5でインクリメンタルに取得するように設定されています。

手動で更新するジョブでは、8月1日に作成された3つのファイルと、8月2日に作成された最初の2つのファイルが取得済みおよびエクスポート済みとして1つのファイルにまとめられます。

関連情報

Zoho DataPrepで他のデータソースをインポートする際の設定