クラウドデータベースへのデータのエクスポート

クラウドデータベースへのデータのエクスポート

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。




次のクラウドデータベースにデータをエクスポートできます。
  1. Amazon RDS - MySQL
  2. Amazon RDS - MS SQL Server
  3. Amazon RDS - Oracle
  4. Amazon RDS - PostgreSQL
  5. Amazon RDS - Maria DB
  6. Amazon RDS - Amazon Aurora MySQL
  7. Amazon RDS - Amazon Aurora PostgreSQL
  8. Amazon Redshift
  9. Microsoft Azure-MySQL
  10. Microsoft Azure - PostgreSQL
  11. Microsoft Azure - Maria DB
  12. Microsoft Azure - SQL Database
  13. Microsoft Azure - SQL Data Warehouse
  14. Google Cloud SQL - MySQL
  15. Google Cloud SQL - PostgreSQL
  16. Snowflake
  17. Oracle Cloud
  18. IBM Cloud - DB2
  19. Heroku PostgreSQL
  20. Rackspace Cloud - MySQL
  21. Rackspace Cloud - Maria DB
  22. Panoply
  23. MySQL
  24. MS SQL Server
  25. Oracle
  26. PostgreSQL
  27. Maria DB
  28. MemSQL
  29. DB2

クラウドデータベースにデータをエクスポートするには

1. 既存のパイプラインを開くか、パイプラインを作成します。ホームページ、パイプラインタブ、またはワークスペースタブからこれらの操作を実行できます。50種類以上のデータソースからデータを取り込めます。

2. パイプラインビルダーページでデータフローの作成と各ステージに必要な加工処理の適用が完了したら、ステージを右クリックして[エクスポート先を追加する]を選択します。




2. 検索欄にエクスポート先の名前を入力するか、[クラウドデータベース]カテゴリーから必要なエクスポート方法を選択します。

 

Notesメモ:クラウドデータベース接続をすでに追加している場合は、[保存済みの接続]セクションで既存の接続を選択して、エクスポートを続けることができます。

3. データに個人情報を含む列や電子的保護対象医療情報(ePHI)を含む列がある場合、[]セクションでエクスポートする列を選択できます。

個人情報を含む列を保護するために、必要なセキュリティ設定を適用することもできます。

A. データマスキング   
データマスキングでは、個人情報を保護するため、元のデータを「x」で隠します。

B. データのトークン化
データのトークン化では、データ内の異なる値をそれぞれランダムな値に置換します。出力内容は、統計的に元のデータと同一になります。

C. [なし
セキュリティ設定を使用しない場合は、[なし]を選択できます。対応するチェックボックスを使用して、これらの列をエクスポートするかどうかを選択できます。  




4. [次へ]をクリックし、[データベースのサービス名]と[データベースの種類]を選択して、[エンドポイント][データベース名]などの必須項目に値を入力し、クラウドデータベース接続を設定します。

5. データベース接続に認証が必要な場合は、[ユーザー名][パスワード]も入力できます。

6. 重複しない[接続名]を入力します。

7. データベースサーバーがSSL経由で暗号化されたデータを提供するよう設定されている場合は、[SSLを使用する]チェックボックスを選択することもできます。

8. [接続する]ボタンをクリックします。
    


9. クラウドデータベースへの接続が完了したら、データのエクスポート方法とエクスポート先を選択できます。

10. 既存のテーブルにデータをエクスポートする場合は、[既存のテーブル]を選択し、データベース内の利用可能なテーブルのリストから対象のテーブルを選択します。既存のテーブルを選択した場合、新しい行をテーブルに追加する方法は2通りあります。
  1. 新しい行をテーブルに追加する場合は、[追加する]を選択します。
  2. 新しく追加する行で既存の行を置換する場合は、ドロップダウンから[上書き]を選択します。


11. 新しいテーブルを作成してデータをエクスポートする場合は、[新しいテーブル]を選択し、[スキーマ名][テーブル名]を入力して、新しい行をテーブルに追加する方法を選択します。
メモ:スキーマ名は必須項目ではありません。
  1. 新しい行をテーブルに追加する場合は、[追加する]を選択します。
  2. 新しく追加する行で既存の行を置換する場合は、ドロップダウンから[上書き]を選択します。
メモ:予約実行バックフィルの実行では、初回のエクスポート先として新しいテーブルが作成されます。以降のエクスポートでは同じテーブルが既存のテーブルとして扱われ、データ構造の照合に成功するとデータがエクスポートされます。パイプラインを実行した後にデータ構造の照合エラーを確認するか、パイプラインビルダーページからステージを直接開くことができます。


12. [保存する]をクリックします。エクスポート先を追加したら、まず手動でパイプラインを実行することをお勧めします。手動での実行が正常に動作することを確認した後、予約を設定してパイプラインを自動化できます。実行の種類については、こちらをご参照ください。

情報:各実行は処理として保存されます。パイプラインを実行すると、データソースから取得したデータに対して、各ステージで適用した一連の加工処理が行われ、その後、データがエクスポート先にエクスポートされます。この一連の処理は、処理ページに記録されます。

13. 手動での実行がエラーなく完了すると、データは正常にエクスポートされます。クラウドデータベース内の既存のテーブルにデータをエクスポートする際に、次のデータ構造の照合エラーによって手動での実行に失敗した場合は、データ構造の照合手順を完了することでエラーを修正できます。

データ構造の照合は、データモデルの不一致によるエクスポート失敗を防ぐDataPrepの便利な機能です。

メモ:新しいテーブルにデータをエクスポートし、予約実行 を使用してパイプラインを自動化する場合も、データ構造の照合が適用されます。新しいテーブルとして扱われるのは初回の予約実行時のみです。以降のエクスポートでは、新しいテーブルが既存のテーブルとして扱われ、データ構造の照合が適用されます。
 




クラウドデータベースへのエクスポート時のデータ構造の照合

データ構造の照合は、データがエクスポート先にエクスポートされる前に行われます。DataPrepのデータ構造の照合は、データモデルの不整合によるエクスポートの失敗を防ぐ便利な機能です。必要なクラウドデータベースのテーブルを基準データとして設定し、元データのデータセットの列を基準データのテーブルの列に合わせることができます。これにより、高品質なデータをクラウドデータベースにスムーズにエクスポートできます。

メモ:データ構造の照合の失敗は、エクスポートの失敗ではありません。データ構造の照合は、データが実際にエクスポート先へエクスポートされる前に行われます。これにより、エクスポートの失敗につながるスキーマやデータモデルのエラーを事前に検出し、エクスポートの失敗を防止できます。

データ構造の照合チェックに失敗した場合

1. エクスポート時にデータ構造の照合チェックに失敗した場合は、DataPrep Studioページに移動し、右上にあるデータ構造の照合アイコンをクリックして、[基準データを表示する]を選択します。基準データのデータモデルが、既存の元データのデータセットの上に表示されます。一致する列が見つかった場合、元データのデータセットの列は、基準データのデータセットの列に合わせて自動的に配置されます。




データ構造の照合では、一致する列と不整合がある列に、それぞれ異なるアイコンや候補が表示されます。候補をクリックすると、既存の列を基準データの列に合わせるための変更をすばやく行うことができます。エラーを簡単に修正できるように、クラウドデータベース内の基準データのモジュールが、データに基準データとして関連付けられます。DataPrep Studioページでは、データとテーブルの対応関係を確認でき、不整合がある箇所にはエラーも表示されます。エラーアイコンにカーソルを合わせると問題の内容を確認でき、アイコンをクリックすると各エラーを解決できます。

メモ:標準では、すべての列がグリッド表示に表示されます。ただし、[すべての列]リンクをクリックすると、必要な項目だけに絞り込むことができます。
2. データ構造の照合に関するエラーの概要を確認するには、[概要を表示する]リンクをクリックします。概要には、データモデルの照合に関する各種エラーと、各エラーに関連する列数が表示されます。必要なエラーが発生した列を選択して[適用する]をクリックすると、特定のエラーが発生した列に絞り込むことができます。



データ構造の照合に関するエラーの概要

  1. [データ構造の照合エラー]セクションには、エラーと各エラーに関連する列数が表示されます。
  2. 上部のセクションには、エラーのカテゴリーと各カテゴリーのエラー数が表示されます。
  3. 各カテゴリーをクリックすると、パネル内のエラーをカテゴリーごとに絞り込むことができます。
  4. 標準の表示では、すべての列が表示されます。エラーのカテゴリーをクリックすると該当する列を詳しく確認できます。また、[エラーのみ表示する]チェックボックスを選択すると、エラーが発生した列だけを表示できます。
  5. データ構造の照合に関するエラーの概要で選択したフィルターは、DataPrep Studioページのグリッド表示にも適用されます。

データ構造の照合エラー

データ構造の照合で発生するエラーについて、以下で説明します。
  1. 不整合がある列:元データと基準データにある不整合がある列が、すべて表示されます。

    メモ:
    1. 基準データの必須ではない列は、対応する元データの列がある場合は照合し、ない場合は無視できます。
    2. 基準データに存在しない元データの列は、エクスポートを続けるために照合または削除する必要があります。

    [不整合がある列]を使用する場合は、[必須の列のみ表示する]を有効にすると、必須列(基準データで必須に設定されている列)があるかどうかを確認し、その列を含めることができます。必須列だけを修正して、エクスポートに進むこともできます。


  1. データの種類の不整合:基準データの列とデータの種類が一致しない元データの列が表示されます。
  2. データの形式の不整合:基準データと日付、日時、時間形式が異なる元データの列が表示されます。
  3. 制約の不整合:基準データの列に設定されているデータの種類の制約と一致しない列が表示されます。列に制約を追加する方法については、こちらをクリックしてください
  4. 必須列の不整合:基準データでは必須に設定されているものの、元データでは必須に設定されていない列が表示されます。

    メモ:必須列は、照合して必須に設定しない限り、エクスポート先にエクスポートできません。列の上にあるアイコンをクリックすると、その列を必須に設定できます。また、データの種類を変更する変換の[必須に設定する(値が必ず入力されているようにする)]チェックボックスを使用して、列を必須に設定することもできます。
  5. データサイズ超過の警告:基準データで許可されている最大サイズを超えるデータを含む列に絞り込まれます。

3. エラーを修正した後、パイプラインの作成画面に移動し、パイプラインを実行してデータをエクスポートします。手動での実行が正常に動作することを確認したら、実行を予約してパイプラインを自動化できます。実行の種類については、こちらをご参照ください

よくある質問

1. クラウドデータベースへのエクスポート時にデータ構造の照合に失敗した場合は、どうすればよいですか?

データ構造の照合エラーによってパイプラインの実行に失敗した場合は、以下の手順で修正してください。
  1. 処理の概要ページの右上にある[パイプラインを編集する]をクリックします。パイプラインの作成画面に移動します。
      

Notes
メモ:画像では説明のためにZoho CRMを使用しています。同じ手順がすべてのクラウドデータベースに適用されます。

b. 最後のステージ(クラウドデータベースをエクスポート先として追加したステージ)を右クリックし、[データを準備する]を選択します。DataPrep Studioページが開きます。

      

c. データグリッドのすぐ上にある右上のデータ構造の照合アイコンをクリックします。

d. [基準データを表示する]を選択します。クラウドデータベースのテーブルが基準データとして表示され、元データの列をそれに合わせることができます。エラーと警告は、赤色と黄色のアイコンで強調表示されます。
      
     
e. [すべての列]のドロップダウンをクリックし、[エラーが発生した列]を選択します。次に、赤色または黄色のアイコンをクリックして、ステージの列をクラウドデータベースの列名に合わせます。

これにより、必要なデータの種類と制約がステージの列に追加され、クラウドデータベース内の基準データの列と一致するようになります。

基準データとの対応付けが完了し、エラーが発生した列がなくなったら、パイプラインを実行できます。


関連情報