クラウドデータベースからの増分データのインポート

クラウドデータベースからの増分データのインポート

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

 
増分データの取得は、ソースから新規または変更されたデータをインポートするための方法です。Zoho DataPrepでは、次のクラウドデータベースからインポート設定を使用して増分データをインポートできます。
  1. Amazon RDS - MySQL
  2. Amazon RDS - MS SQL Server
  3. Amazon RDS - Oracle
  4. Amazon RDS - PostgreSQL
  5. Amazon RDS - Maria DB
  6. Amazon RDS - Amazon Aurora MySQL
  7. Amazon RDS - Amazon Aurora PostgreSQL
  8. Amazon Redshift
  9. Amazon Athena
  10. Microsoft Azure-MySQL
  11. Microsoft Azure - PostgreSQL
  12. Microsoft Azure - Maria DB
  13. Microsoft Azure - SQL Database
  14. Microsoft Azure - SQL Data Warehouse
  15. Google Cloud SQL - MySQL
  16. Google Cloud SQL - PostgreSQL
  17. Snowflake
  18. Oracle Cloud
  19. IBM Cloud - DB2
  20. Heroku PostgreSQL
  21. Rackspace Cloud - MySQL
  22. Rackspace Cloud - Maria DB
  23. Panoply
  24. MySQL
  25. MS SQL Server
  26. Oracle
  27. PostgreSQL
  28. Maria DB
  29. MemSQL
  30. DB2

インポートを開始するには


1. パイプラインを作成するか、［ホーム］ページ、［パイプライン］タブ、または［ワークスペース］タブから既存のパイプラインを開き、［データの追加］オプションをクリックします。データをインポートするには、［データのインポート］オプションを［ワークスペース］タブでクリックすることもできます。
Info情報：パイプラインビルダー上部の［データのインポート］アイコンをクリックして、複数のソースからパイプラインにデータを取り込むこともできます。


 

2. 左側のペインで［クラウドデータベース］カテゴリーを選択し、必要なクラウドデータベースを選択します。検索ボックスでクラウドデータベースを検索することもできます。



3. ［データベースサービス名］と［データベースの種類］を選択します。

4. ［データベースサーバーのホスト］を入力します。

5. 認証が必要な場合は、［データベース名］、［ユーザー名］、［パスワード］を入力します。

6. データベースサーバーがSSL経由で暗号化データを提供するように設定されている場合は、［SSLを使用］チェックボックスを選択することもできます。



Notes
メモ：［接続名］は、接続ごとに一意である必要があります。

7. ［接続］をクリックします。

8. インポートするテーブルを選択し、［インポート］をクリックして、クラウドデータベースサービスからデータのインポートを開始します。




Notesメモ：接続設定は、今後のデータインポート用に保存されます。認証情報は安全に暗号化されて保存されます。
Warning
データベースからクエリーを使用してデータをインポートした場合、増分取得オプションは利用できません。

9. データのインポートが完了すると、パイプラインビルダーページが開き、変換の適用を開始できます。ステージを右クリックして［データの準備］オプションを選択すると、DataPrep Studioページで各種変換を使用してデータを準備することもできます。こちらをクリックすると、変換の詳細を確認できます。



10. データフローの作成とステージへの必要な変換の適用が完了したら、ステージを右クリックして［宛先を追加］し、データフローを完了できます。
Notesパイプラインに宛先を追加した後、まず手動実行でパイプラインの実行を試すことができます。手動実行が正常に動作することを確認したら、スケジュールを設定してパイプラインを自動化できます。実行の種類についてはこちらをご参照ください。

スケジュール、バックフィル、手動再読み込み、Webhook、Zoho Flowを設定する際は、すべてのソースでインポート設定を必ず設定する必要があります。インポート設定を設定しないと、実行を保存できません。こちらをクリックすると、インポート設定の設定方法の詳細を確認できます。

11. 実行を設定すると、実行時にパイプラインジョブが作成されます。ジョブのステータスと詳細は、ジョブの概要で確認できます。こちらをクリックすると、ジョブの概要の詳細を確認できます。

クラウドデータベースのインポート設定

［テーブルを選択］オプションを使用してクラウドデータベースからデータをインポートする場合は、以下のインポート設定オプションで、クラウドデータベースからのデータのインポート方法と増分データの取得方法を設定できます。

インポート設定を行うには、こちらをクリックのリンクを選択します。

以下は、スケジュール設定のスクリーンショットです。

 

ソースからデータをインポートするにはドロップダウンから、データのインポート方法を選択します（［すべてのデータをインポート］、［増分ファイル取得］、［データをインポートしない］）。

すべてのデータをインポート

このオプションでは、実行ごとに利用可能なすべてのデータがインポートされます。



増分データ取得


増分データインポートは、特定のデータ間隔で新規または変更されたデータをインポートする方法です。

Warning
重要：データベースからクエリーを使用してデータをインポートする場合、この増分取得オプションは利用できません。

 




変更済みデータと新規データのみ

特定のデータ間隔で変更済みデータと新規データを増分インポートするには、ドロップダウンから［変更済みデータと新規データのみ］オプションを選択します。

［取得基準］：ファイルの並べ替えとインポートの基準にする日時列名を入力できます。

［新しいデータがない場合は以前にインポートしたデータを使用］： 

増分インポート中は、

  1. チェックボックスが選択されている場合：ソースに新しいデータがない場合、最後に取得したデータが再度インポートされます。
  2. チェックボックスが選択されていない場合：ソースに新しいデータがない場合、インポートは失敗し、ファイルはインポートされません。その結果、パイプラインジョブ全体が失敗します。
Warningメモ：パイプライン内のソースのうち1つだけに新しいデータがなく、このオプションが選択されていない場合でも、パイプラインジョブ全体が失敗します。

データをインポートしない

データは1回だけインポートされます。2回目以降は、同じデータにルールが適用され、エクスポートされます。



増分同期の仕組み

ソースからの増分データのインポート方法と取得方法は、［インポート設定］オプションで設定できます。増分データインポートは、新規または変更されたデータを特定のデータ間隔でインポートする方法です。

増分ファイル取得では、パイプラインの実行時に、日時列に基づいてテーブル内の新規または変更されたデータが取得されます。たとえば、インポート設定が変更済みデータまたは新規データのみを取得するように設定されているとします。この場合、クラウドデータベースの指定された時間間隔内にあるテーブルの新規または変更されたデータがインポートされます。新しいデータがない場合、インポート設定の［新しいデータがない場合は以前にインポートしたデータを使用］チェックボックスが選択されているかどうかに応じて、データをインポートせずにパイプラインが失敗するか、以前に取得したデータが再インポートされます。以降の間隔では、その間隔内の新規または変更されたデータが適宜取得されます。


Notes
メモ：
日時列を使用して増分データ取得を設定する場合：
 
1. データが保存されているデータベースのタイムゾーンが、新規または更新されたデータの識別に使用されます。
2. スケジュールのタイムゾーンはジョブの実行日時のみを決定し、取得されるデータには影響しません。


関連項目
新しいパイプラインを追加するには
Zoho DataPrepで利用できるその他のクラウドデータベースオプション
パイプラインをスケジュール設定するには     
保存済みデータ接続からデータをインポートするには