Zoho DataPrepを使用すると、Google Cloud SQL(クラウドデータベース)へデータのエクスポートが可能です。これは、リレーショナルデータベースの設定、保守、管理、運用をGoogle Cloud Platform上でサポートするフルマネージド型データベースサービスです。
Google Cloud SQL - MySQLへのデータのエクスポート方法
1. 既存のパイプラインを開くか、
パイプラインを作成します。
ホームページ、
Pipelinesタブ、または
Workspacesタブから操作できます。データは
50以上のソースから取り込むことが可能です。
2.
Pipeline Builderページで、データフローの作成と必要な
変換を各ステージに適用した後、ステージを右クリックし、
宛先を追加オプションを選択します。
3. Cloud databasesカテゴリからOracle Cloudを選択するか、検索ボックスで検索して選択できます。
メモ: 以前にGoogle Cloud SQLの接続を追加済みの場合は、保存済みの外部連携セクションから既存の接続を選択し、そのままエクスポートを続行できます。
4. データ内に個人情報を含む列がある場合、個人情報列セクションで一部またはすべてを含めるか除外するかを選択できます。
必要に応じて、以下のセキュリティ手法を適用してデータ列を保護できます。
A. データマスキング
データマスキングでは、個人情報保護のために元の内容を「x」で隠します。
B. データトークナイゼーション
データトークナイゼーションは、データ内の各固有の値をランダムな値に置き換えます。これにより、出力は統計的に元の内容と同一となります。
C. なし
セキュリティ手法を使用しない場合は、「なし」を選択できます。
5. 次をクリックし、Database サービス 名前ドロップダウンでGoogle Cloud SQLを、Database 種類ドロップダウンでMySQLを選択します。
6. データベース接続を認証するために、Endpoint、Port、Database 名前、ユーザー名、パスワードを入力します。
7. データベースサーバーがSSLによる暗号化通信に対応している場合は、使用する SSLのチェックボックスを選択できます。
8. Connection 名前欄に接続の一意な名前を入力し、接続をクリックします。
メモ: 接続設定は今後のデータエクスポートのために保存されます。認証情報は安全に暗号化されて保存されます。
メモ: データベースへの接続に問題がある場合は、アプリケーションでZoho DataPrepのIPアドレスがホワイトリストに登録されていることを確認してください。クラウドデータベースへのデータのエクスポート時に必要です。
こちらでZoho DataPrepのIPアドレスについてご確認いただけます。
9. Google Cloud SQLアカウントへの接続が成功すると、データのエクスポート方法やエクスポート先を選択できます。
10. 既存のテーブルにデータをエクスポートしたい場合は、既存 tableを選択し、データベース内の利用可能なテーブルから1つ選びます。既存 table オプションを選択した場合、新規行の追加方法を2つの方法から選択できます。
- 新規行をテーブルに追加する場合は、Appendを選択します。
- 新たに追加した行で既存行を置き換える場合は、ドロップダウンからOverwriteを選択します。
11. 新規テーブルを作成してデータをエクスポートしたい場合は、新規テーブルオプションを選択し、スキーマ名とテーブル名を入力し、新規行をテーブルへ追加する方法を選択してください。
メモ: スキーマ名は必須項目ではありません。
- 新規行をテーブルに追加する場合は、Appendを選択します。
- 追加した行で既存の行を置き換える場合は、ドロップダウンからOverwriteを選択します。
メモ:
スケジュールおよび
バックフィル実行の場合、最初のエクスポートは新規テーブルに行われ、その後のエクスポートは既存テーブルに行われます。このオプションは新規行を既存テーブルに追加する際に利用されます。
12.
保存をクリックします。宛先を追加したら、まず手動実行でパイプラインをテストしてみましょう。手動実行が正常に動作することを確認できたら、スケジュール設定を行いパイプラインを自動化できます。各種実行タイプの詳細は
こちらをご参照ください。
情報: 各実行はジョブとして保存されます。パイプライン実行時、データソースから取得済みのデータは各ステージで申請済みの変換処理を適用したうえで、宛先へエクスポートされます。こうした一連の処理は
ジョブページで確認できます。
13. 手動実行がエラーなく成功した場合、データは正常にエクスポートされます。クラウドデータベースの既存テーブルへデータをエクスポートする際に、手動実行で以下のターゲット照合エラーが発生した場合は、ターゲット照合手順を完了することで修正できます。
ターゲット照合は、データモデルの不一致によるエクスポート失敗を防ぐための、DataPrepの便利な機能です。
メモ: 新規テーブルにデータのエクスポートを行い、
スケジュール実行オプションを使ってパイプラインを自動化した場合でも、ターゲットマッチングは申請済みとなります。初回のスケジュール実行時のみ新規テーブルとして扱われ、それ以降のエクスポートでは新規テーブルが既存テーブルとして扱われ、ターゲットマッチングは申請済みとなります。
クラウドデータベースへのエクスポート時のターゲットマッチング
ターゲットマッチングは、データがエクスポートされる前に実行されます。ターゲットマッチングは、データモデルの不一致によるエクスポート失敗を防ぐためのDataPrepの便利な機能です。ターゲットマッチングを利用することで、必要なクラウドデータベーステーブルをターゲットとして設定し、データ元のデータセット列をターゲットテーブルに合わせて調整できます。これにより、高品質なデータをクラウドデータベースへスムーズにエクスポートできます。
メモ: ターゲットマッチングの失敗はエクスポート失敗とは異なります。ターゲットマッチングは、実際にデータがエクスポートされる前に実行されます。この仕組みにより、エクスポート失敗の原因となるスキーマやデータモデルのエラーを事前に検出し、エクスポート失敗を未然に防ぎます。
ターゲット照合チェックが失敗した場合
1. エクスポート時にターゲット照合チェックが失敗した場合、
DataPrep Studioページに移動し、右上のターゲットマッチングアイコン

をクリックし、
ターゲットを表示オプションを選択します。ターゲットのデータモデルが既存データ元データセットの上部に表示されます。データ元データセット内の列は、該当する場合、自動的にターゲットデータセットの列に合わせて調整されます。
ターゲットマッチングでは、照合済みと未照合の列に対し、さまざまなアイコンや提案が表示されます。提案部分をクリックすることで、既存の列をターゲット列に迅速に調整できます。エラーの修正を容易にするため、クラウドデータベース内のターゲットタブがデータにターゲットとして紐付けられています。DataPrep Studioページでテーブルとのマッピングと、データ不一致箇所にはエラーも併せて確認できます。エラーアイコンにカーソルを合わせると内容を確認でき、クリックすると各エラーの解消が可能です。
メモ: すべての列は初期設定でグリッドに表示されます。ただし、すべての列リンクをクリックすることで、必須項目のみのフィルター表示が可能です。
2. 表示する 概要リンクをクリックすると、対象の照合エラーの概要が表示されます。概要では、さまざまなモデル照合エラーと、それぞれのエラーに関連付けられた列の数が示されます。必要なエラー列をクリックし、適用するをクリックすることで、特定のエラー列に絞り込むことができます。
Target 照合する エラー 概要
- Target照合エラーのセクションには、エラーと、それぞれのエラーに関連付けられた列数が表示されます。
- 上部のセクションには、エラーカテゴリーと各カテゴリー内のエラー数が一覧表示されます。
- 各カテゴリーをクリックすると、パネル内でそのカテゴリーに関連するエラーのみをフィルターできます。
- 初期表示ではすべての列が表示されますが、任意のエラーカテゴリーをクリックして列を詳しく確認したり、エラーのみ表示のチェックボックスを選択してエラー列のみを表示したりできます。
- Target照合するエラー概要でのフィルター選択は、DataPrep Studioページのグリッドにも適用されます。
Target matching errors
ターゲットマッチング時のエラーについて、以下に説明します。
-
未照合の列:このオプションでは、データ元とターゲットで未照合のすべての列が表示されます。
メモ:
- ターゲット側の必須ではない列は、利用可能であればデータ元の列と照合するか、無視できます。
- ターゲットに存在しないデータ元の列は、照合するか削除してエクスポートを続行してください。
未照合の列オプションを利用する際は、必須列のみ表示オプションを切り替えて、ターゲットで必須に設定されている列があるかどうかを確認し、含めることができます。必須列のみを修正してエクスポートを続行することも可能です。
- データの種類不一致:このオプションでは、データ元の列でターゲットの列とデータの種類が一致しないものが表示されます。
- データ形式不一致:このオプションでは、データ元の列で日付、datetime、時間の形式がターゲットのものと異なる列が表示されます。
- 制約不一致:このオプションでは、ターゲットの列のデータの種類制約と一致しない列が表示されます。列に制約を追加する方法については、こちらをご覧ください。
-
必須列の不一致:このオプションでは、ターゲットで必須に設定されているが、データ元では必須に設定されていない列が表示されます。
メモ:必須列は、照合済みかつ必須に設定されていない限り、宛先にエクスポートできません。列を必須に設定するには、上記の

アイコンをクリックしてください。また、
必須(NULL不可)として設定チェックボックスを
データの種類変更変換の下で使用して、列を必須に設定することもできます。
- データサイズオーバーフロー警告:このオプションでは、ターゲットで許容されている最大サイズを超えるデータを持つ列をフィルタリングします。
3. エラーを修正した後、
Pipeline builderページに移動し、パイプラインを実行してデータをエクスポートできます。
手動実行が正常に動作することを確認したら、パイプラインの自動化のためにスケジュールを設定できます。さまざまな実行タイプについてはこちらをご参照ください。