Heroku PostgreSQLへのデータエクスポート

Heroku PostgreSQLへのデータエクスポート

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

Zoho DataPrepでは、データのエクスポートをPostgreSQL(Postgresとも呼ばれる)というクラウドデータベースに行うことができます。これは、無料かつオープンなデータソースのリレーショナルデータベース管理システムです。

Heroku PostgreSQLへのデータのエクスポート方法

1. 既存のパイプラインを開くか、パイプラインを作成します。ホームページ、パイプラインタブ、またはワークスペースタブから操作できます。データは50以上のソースから取り込むことが可能です。

2. パイプラインビルダーページで、データフロー作成と必要な変換を各ステージに適用した後、ステージを右クリックし、送信先を追加オプションを選択します。



3. Cloud databasesカテゴリーからOracle Cloudを選択するか、検索ボックスで検索してください。



メモ: 以前にPostgreSQLの接続を追加済みの場合は、保存済み外部連携セクションの既存の接続を選択し、そのままエクスポートを進めることができます。

4. データに個人情報を含む列がある場合、個人情報列セクションで、一部またはすべての列を含めるか除外するかを選択できます。

必要に応じて、下記のセキュリティ方法を適用し、データ列を保護することも可能です。

A. データマスキング  
データマスキングは、個人情報を保護するために、元のデータ内容を「x」で隠します。

B. データトークナイゼーション 
データトークナイゼーションは、データ内の各値をランダムな値に置き換えます。そのため、出力は統計的に元のデータと同一です。

C. なし
セキュリティ方法を使用しない場合は、「なし」を選択できます。



5. をクリックし、Database サービス 名前のドロップダウンからHeroku PostgreSQLを選択します。

6. データベース接続を認証するために、EndpointPortDatabase 名前ユーザー名パスワードを入力します。

7. データベースサーバーがSSLを利用して暗号化通信を行うように設定されている場合は、使用する SSLのチェックボックスも選択できます。

8. Connection 名前欄に接続の一意な名前を入力し、接続をクリックします。
メモ: 接続構成は今後データをエクスポートする際のために保存されます。認証情報は安全に暗号化され、保管されます。
 


メモ: データベースへの接続に問題が発生した場合は、Zoho DataPrepのIPアドレスがアプリケーションにて許可リストに追加されているかご確認ください。これによりクラウドデータベースへのデータエクスポートが可能となります。Zoho DataPrepのIPアドレスについてはこちらをクリックしてください。

9. Heroku PostgreSQLアカウントへの接続が完了したら、データのエクスポート方法とエクスポート先を選択できます。

10. 既存のテーブルにデータをエクスポートしたい場合は、既存 tableを選択し、データベース内の利用可能なテーブルのリストから選択してください。既存 tableオプションを選択した場合、新しい行をテーブルに追加する方法は2通りあります。
  1. 新しい行をテーブルに追加する場合は、Appendを選択します。
  2. 新しく追加した行で既存の行を置き換えたい場合は、ドロップダウンからOverwriteを選択します。


11. 新しいテーブルを作成してデータをエクスポートしたい場合は、新規 tableオプションを選択し、Schema 名前Table 名前を入力し、新しい行をテーブルに追加する方法を選択します。
メモ: Schema 名前は必須項目ではありません。
  1. 新しい行をテーブルに追加する場合は、Appendを選択します。
  2. 新しく追加した行で既存の行を置き換える場合は、ドロップダウンからOverwriteを選択します。
メモ: スケジュール実行バックフィル実行の場合、最初のエクスポートは新規テーブルに完了し、その後のエクスポートは既存テーブルに完了します。このオプションは、新しい行を既存テーブルに追加する際に使用されます。
 


12. 保存をクリックします。宛先を追加したら、まず手動実行でパイプラインを実行してみてください。手動実行がうまくいくことを確認したら、スケジュールを設定してパイプラインの自動化が可能です。さまざまな実行タイプについてはこちらを参照してください。

情報: 各実行はジョブとして保存されます。パイプライン実行が開始されると、データソースから取得したデータが各ステージで申請済みの一連の変換によって処理され、データが宛先へエクスポートされます。この完了プロセスはジョブページに記録されます。

13. 手動実行がエラーなく成功した場合、データは正常にエクスポートされます。クラウドデータベースの既存テーブルへデータをエクスポートする際、もし手動実行で下記のターゲット照合エラーが発生した場合は、ターゲットの照合手順を完了することで修正できます。

ターゲットマッチングは、データモデルの不一致によるエクスポート失敗を防ぐためにDataPrepで提供されている便利な機能です。

メモ: 新規テーブルにデータをエクスポートし、スケジュール実行オプションでパイプラインを自動化した場合でも、ターゲットマッチングは申請済みとなります。初回のスケジュール実行時のみ新規テーブルとして扱われ、以降のエクスポートでは新規テーブルが既存テーブルとして扱われ、ターゲットマッチングは申請済みとなります。
 




クラウドデータベースへのエクスポート時のターゲットマッチング

ターゲットマッチングは、データが送信先にエクスポートされる前に行われます。DataPrepのターゲットマッチング機能は、データモデルの不一致によるエクスポート失敗を防ぐのに役立ちます。ターゲットマッチングを利用すると、必要なクラウドデータベーステーブルをターゲットに設定し、データ元のデータセットの列をターゲットテーブルと照合して揃えることができます。これにより、クラウドデータベースへの高品質なデータの円滑なエクスポートが実現します。

メモ: ターゲットマッチングの失敗は、エクスポート失敗と同じではありません。ターゲットマッチングは、データが実際にエクスポートされる前に実施されます。この仕組みにより、スキーマやデータモデルのエラーが事前に検出され、エクスポート失敗を未然に防ぐことができます。

ターゲット照合チェックが失敗した場合

1. エクスポート中にターゲット照合チェックが失敗した場合は、DataPrep Studioページに移動し、右上のターゲットマッチングアイコン をクリックし、ターゲットを表示オプションを選択してください。ターゲットのデータモデルが既存のデータ元データセットの上部に表示されます。データ元データセット内の列は、ターゲットデータセットの列と自動的に照合・整列されます(一致が見つかった場合)。




ターゲットマッチングでは、照合済み列と未照合列に異なるアイコンや提案が表示されます。提案部分をクリックするだけで、既存の列とターゲット列をすばやく照合できます。エラーの修正を容易にするため、クラウドデータベースのターゲットタブがデータのターゲットとして紐付けられています。DataPrep Studioページで、テーブルとのマッピングや、不一致がある箇所のエラーもあわせて確認できます。エラーアイコンにカーソルを合わせて内容を確認し、クリックして各エラーを解決できます。

メモ: 初期設定では、すべての列がグリッドに表示されますが、すべての列リンクをクリックして必須オプションでフィルターすることもできます。
2. 表示する 概要リンクをクリックし、対象の照合エラーの概要を表示します。概要では、さまざまなモデル照合エラーと、それぞれのエラーに関連付けられている列数が表示されます。必須エラー列をクリックして、適用するをクリックすることで、特定のエラー列のみをフィルターできます。



Target 照合エラー概要

  1. Target照合エラーセクションには、エラーとそれぞれのエラーに関連付けられた列数が表示されます。
  2. 上部のセクションには、エラーカテゴリーごとのエラー数とともに、エラーカテゴリーが一覧表示されます。
  3. 各カテゴリーをクリックすると、パネル内でそのカテゴリーに関連するエラーのみをフィルターできます。
  4. 初期表示ではすべての列が表示されますが、任意のエラーカテゴリーをクリックすると、該当する列を詳細に確認したり、エラーのみ表示のチェックボックスを選択してエラー列のみを表示できます。
  5. Target照合エラー概要でのフィルター選択は、DataPrep Studioページのグリッドにも適用されます。

Target照合エラー

ターゲットの照合エラーについて、以下で説明します。
  1. 未照合列: このオプションでは、データ元およびターゲット内の未照合列がすべて表示されます。

    メモ:
    1. ターゲット内の必須でない列は、利用可能であればデータ元列と照合するか、無視することができます。
    2. ターゲットに存在しないデータ元の列は、照合するか、エクスポートを続行するために削除する必要があります。

    未照合列オプションを使用するときは、必須列のみ表示オプションを切り替えて、ターゲットで必須に設定されている列があるか確認し、それらを含めることができます。また、必須列のみ修正してエクスポートを続行することもできます。


  1. データの種類の不一致: このオプションでは、データ元でデータ型がターゲットの列と一致しない列が表示されます。
  2. データ形式の不一致: このオプションでは、データ元で日付・日時・時間の形式がターゲットと異なる列が表示されます。
  3. 制約の不一致: このオプションでは、ターゲット列のデータ型制約と一致しない列が表示されます。列に制約を追加する方法については、こちらをクリックしてください。
  4. 必須列の不一致: このオプションでは、ターゲットで必須に設定されているが、データ元では必須に設定されていない列が表示されます。

    メモ: 必須列は、照合され必須に設定されない限り、宛先へエクスポートできません。列を必須に設定するには、列の上部にあるアイコンをクリックしてください。また、必須として設定(null不可)チェックボックスをデータ型の変更変換内で使用して、列を必須に設定することもできます。
  5. データサイズ超過の警告: このオプションでは、ターゲットで許可されている最大サイズを超えるデータを持つ列をフィルターします。

3. エラーを修正した後、Pipeline builderページに移動し、パイプラインを実行してデータをエクスポートできます。手動実行が正常に動作することを確認したら、パイプラインの自動化のためにスケジュールを設定できます。さまざまな実行タイプについてはこちらをご参照ください。