クラウドデータベースからの増分データのインポート

クラウドデータベースからの増分データのインポート

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

 
増分データ取得は、元データから新規または更新済みのデータをインポートする方法です。Zoho DataPrepでは、次のクラウドデータベースから増分データをインポートする際に、インポート設定を使用します。
  1. Amazon RDS - MySQL
  2. Amazon RDS - MS SQL Server
  3. Amazon RDS - Oracle
  4. Amazon RDS - PostgreSQL
  5. Amazon RDS - Maria DB
  6. Amazon RDS - Amazon Aurora MySQL
  7. Amazon RDS - Amazon Aurora PostgreSQL
  8. Amazon Redshift
  9. Amazon Athena
  10. Microsoft Azure-MySQL
  11. Microsoft Azure - PostgreSQL
  12. Microsoft Azure - Maria DB
  13. Microsoft Azure - SQL Database
  14. Microsoft Azure - SQL Data Warehouse
  15. Google Cloud SQL - MySQL
  16. Google Cloud SQL - PostgreSQL
  17. Snowflake
  18. Oracle Cloud
  19. IBM Cloud - DB2
  20. Heroku PostgreSQL
  21. Rackspace Cloud - MySQL
  22. Rackspace Cloud - Maria DB
  23. Panoply
  24. MySQL
  25. MS SQL Server
  26. Oracle
  27. PostgreSQL
  28. Maria DB
  29. MemSQL
  30. DB2

インポートを開始するには


1. ［パイプラインを作成する］か、［ホーム］ページ、［パイプライン］タブ、または［ワークスペース］タブから既存のパイプラインを開き、［データを追加する］オプションをクリックします。また、［データのインポート］オプションをクリックして、［ワークスペース］タブからデータをインポートすることもできます。
Info情報：パイプラインの作成画面の上部にあるデータのインポートアイコンをクリックして、複数の元データからパイプラインにデータを取り込むこともできます。


 

2. 左側のパネルから［クラウドデータベース］カテゴリーを選択し、使用するクラウドデータベースを選択します。検索ボックスでクラウドデータベースを検索することもできます。



3. ［データベースのサービス名］と［データベースの種類］を選択します。

4. ［データベースサーバーのホスト］を入力します。

5. 認証が必要な場合は、［データベース名］、［ユーザー名］、［パスワード］を入力します。

6. データベースサーバーがSSL経由で暗号化データを提供するよう設定されている場合は、［SSLを使用する］チェックボックスを選択することもできます。



Notes
メモ：［データ連携名］には、データ連携ごとに重複しない名前を指定する必要があります。

7. ［連携する］をクリックします。

8. インポートするテーブルを選択し、［インポート］をクリックして、クラウドデータベースサービスからのデータのインポートを開始します。




Notes メモ：データ連携の設定は、今後のデータのインポート用に保存されます。認証情報は安全に暗号化されて保存されます。
Warning
データベースからクエリーを使用してデータをインポートする場合、増分取得オプションは利用できません。

9. データのインポートが完了すると、パイプラインの作成画面が開き、加工処理を適用できます。ステージを右クリックして［データの準備］オプションを選択すると、DataPrep Studioページでさまざまな加工処理を使用してデータを準備できます。加工処理の詳細については、［こちらをクリック］してください。



10. データフローを作成し、各ステージに必要な加工処理を適用したら、ステージを右クリックして［エクスポート先を追加する］ことで、データフローを完成できます。
Notesパイプラインにエクスポート先を追加したら、まず手動での実行を使用してパイプラインを実行できます。手動での実行が正常に動作することを確認した後、［予約を設定して］パイプラインを自動化できます。実行の種類については、［こちら］をご参照ください。

予約、バックフィル、手動での再読み込み、Webhook、またはZoho Flowを設定する場合は、すべての元データにインポート設定を必ず行う必要があります。インポート設定を行わないと、実行を保存できません。インポート設定の方法については、［こちらをクリック］してください。

11. 実行を設定すると、実行時にパイプラインの処理が作成されます。処理の概要では、処理のステータスと詳細を確認できます。［こちらをクリック］すると、処理の概要の詳細を確認できます。

クラウドデータベースのインポート設定

クラウドデータベースから［テーブルの選択］オプションを使用してデータをインポートする場合、次の［インポート設定］オプションを使用して、増分データのインポート方法と取得方法を設定できます。

インポート設定を行うには、［こちらをクリック］というリンクを選択します。

以下は、予約設定の画面例です。

 

データソースからデータをインポートするには？ドロップダウンからデータのインポート方法を選択します：［すべてのデータをインポートする］、［増分ファイルの取得］、［データをインポートしない］。

すべてのデータをインポートする

実行のたびに、利用可能なすべてのデータがインポートされます。



増分データの取得


増分データインポートは、特定の時間範囲に含まれる新規データまたは更新されたデータをインポートする方法です。

Warning
重要：データベースからクエリーを使用してデータをインポートする場合、この増分取得設定は利用できません。

 




更新されたデータと新しいデータのみ

特定の時間範囲で更新されたデータと新しいデータを増分インポートするには、ドロップダウンから［更新されたデータと新しいデータのみ］を選択します。

［取得基準］：ファイルの並べ替えとインポートの基準にする日時列名を入力できます。

［新しいデータがない場合は前回インポートしたデータを使用する］。 

増分インポートでは、

  1. チェックボックスが選択されている場合：データソースに新しいデータがないと、最後に取得したデータが再度インポートされます。
  2. チェックボックスが選択されていない場合：データソースに新しいデータがないと、インポートは失敗し、ファイルはインポートされません。その結果、パイプライン全体の処理が失敗します。
Warningメモ：パイプライン内のデータソースのうち1つでも新しいデータがなく、この設定が選択されていない場合、パイプライン全体の処理が失敗します。

データをインポートしない

データのインポートは初回のみです。2回目は、同じデータにルールが適用され、エクスポートされます。



増分同期の仕組み

データソースから増分データをインポートおよび取得する方法は、［インポート設定］で設定できます。増分データインポートは、新規データまたは更新されたデータを、特定の時間範囲でインポートする方法です。

増分ファイルの取得では、パイプラインを実行すると、日時列を基準にテーブル内の新しいデータまたは更新されたデータが取得されます。たとえば、更新されたデータと新しいデータのみを取得するようにインポート設定を設定したとします。この場合、クラウドデータベース内で指定した時間範囲に含まれるテーブルの新しいデータまたは更新されたデータがインポートされます。新しいデータがない場合、パイプラインはデータをインポートせずに失敗するか、前回取得したデータを再インポートします。これは、［インポート設定］の［新しいデータがない場合は前回インポートしたデータを使用する］チェックボックスが選択されているかどうかによって決まります。以降の各時間範囲では、その範囲内の新しいデータまたは更新されたデータが取得されます。


Notes
メモ：
日時列を使用して増分データの取得を設定する場合：
 
1. 新しいデータまたは更新されたデータの識別には、データが保存されているデータベースのタイムゾーンが使用されます。
2. スケジュールのタイムゾーンは処理の実行時刻を決定するだけで、取得されるデータには影響しません。


関連情報
新しいパイプラインを追加するには？
Zoho DataPrepで利用できるその他のクラウドデータベース設定は？
パイプラインのスケジュールを設定するには？     
保存済みのデータ接続からデータをインポートするには？