Google BigQueryへのデータエクスポート

Google BigQueryへのデータエクスポート

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

Zoho DataPrepはGoogle BigQueryへのデータエクスポートに対応しています。BigQueryは、組織のデータ管理を支援するフルマネージド型のエンタープライズデータ倉庫です。

Google BigQueryへのデータエクスポート方法

1. 既存のパイプラインを開くか、パイプラインを作成することができます。ホームページパイプラインタブ、またはワークスペースタブから操作できます。データは50以上のソースから取り込むことが可能です。

2. パイプラインビルダーページで、データフローの作成や必要な変換の適用が完了したら、ステージを右クリックして送信先を追加オプションを選択します。



2. すべての送信先タブまたはクラウドデータベースカテゴリからGoogle BigQueryを選択します。



3. 保存済みの外部連携から口座を選択するか、 新しく追加オプションを使用して新しい勘定を追加できます。



4. プロジェクトIDを入力し、Googleでサインインボタンをクリックします。



4. Googleアカウントでサインイン後、初回のみZoho DataPrepがGoogle BigQueryプロジェクトのデータへアクセスすることを許可するために続けるをクリックしてください。
メモ: 接続構成は、今後Google BigQueryプロジェクトへのエクスポート時に保存されます。認証情報は安全に暗号化されて保存されます。
5. 接続をクリックします。
Notesメモ: データベースへの接続に問題がある場合は、アプリケーションでZoho DataPrepのIPアドレスが許可リストに登録されていることを確認してください。これによりクラウドデータベースへのデータのエクスポートが可能になります。 こちらをクリックしてZoho DataPrepのIPアドレスについてご確認ください。
6. Google BigQueryプロジェクトへの接続が完了すると、データのエクスポートを行うタイミングや場所を選択できます。

7. 既存テーブルを選択すると、データベース内の利用可能なデータセットおよびテーブル一覧からエクスポート先を選択できます。新規行のテーブルへの追加方法は2通りあります。
  1. テーブルに新規行を追加する場合は、追加(Append)を選択します。
  2. 新規行で既存行を置き換える場合は、ドロップダウンから上書き(Overwrite)を選択します。


11. 新しいテーブルを作成してデータをエクスポートしたい場合は、新規テーブルオプションを選択し、データセットを選択、テーブル名を入力し、新規行の追加方法を選択してエクスポートを続行します。



12. 保存をクリックします。宛先を追加したら、まず手動実行でパイプラインを実行してみてください。手動実行が正常に動作することを確認したら、パイプラインを自動化するためにスケジュールを設定できます。各種実行タイプについてはこちらをご参照ください。
Info
情報: 各実行はジョブとして保存されます。パイプライン実行時、データソースから取得済みのデータが各ステージで申請済みの変換処理を経て準備され、その後宛先へエクスポート済みとなります。この完了したプロセスはジョブページに記録されます。

13. 手動実行がエラーなく成功した場合、データは正常にエクスポート済みとなります。クラウドデータベースの既存テーブルへデータをエクスポートしている際に、手動実行で下記のターゲット照合エラーが発生した場合は、ターゲットマッチングのステップを完了して修正できます。

ターゲットマッチングは、データモデルの不一致によるエクスポートする失敗を防ぐためのDataPrepの便利な機能です。
Notes
メモ: 新規テーブルへのデータエクスポートや、スケジュール実行オプションでパイプラインを自動化する場合にも、ターゲットマッチングは申請済みとなります。初回スケジュール実行時のみ新規テーブルとして扱われ、2回目以降は新規テーブルも既存テーブルとして認識され、ターゲットマッチングが申請済みとなります。
 


クラウドデータベースへのエクスポート時のターゲットマッチング

ターゲットマッチングは、データが宛先へエクスポート済みとなる前に実行されます。これは、データモデルの不一致によるエクスポートする失敗を防ぐDataPrepの便利な機能です。ターゲットマッチングにより、必要なクラウドデータベーステーブルをターゲットとして設定し、データ元データセットの列をターゲットテーブルに照合するよう調整できます。これにより、高い品質のデータをクラウドデータベースへシームレスにエクスポートできます。
Notes
メモ: ターゲットマッチングの失敗はエクスポートする失敗と同じではありません。ターゲットマッチングは、データが実際に宛先へエクスポート済みとなる前に行われます。この仕組みにより、スキーマやデータモデルのエラーが事前に検出され、エクスポートする失敗を未然に防ぎます。

ターゲット照合チェックが失敗した場合

1. エクスポート中にターゲット照合チェックが失敗した場合、DataPrep Studioページへ移動し、右上隅のターゲット照合アイコンをクリックし、ターゲット表示オプションを選択します。ターゲットのデータモデルが既存データ元データセットの上部に表示されます。データ元データセット内の列は、ターゲットデータセットの列と自動的に照合され、一致する場合は自動的に整列されます。




ターゲット照合では、照合済みおよび未照合の列にさまざまなアイコンや提案が表示されます。これらの提案をクリックすることで、既存の列とターゲット列の照合を素早く修正できます。エラー修正をより簡単に行えるよう、クラウドデータベース内のターゲットタブがデータのターゲットとして紐付けられています。DataPrep Studioページではエラー箇所とともに、データとテーブルのマッピングを表示できます。エラーアイコンにカーソルを合わせることで問題内容を確認でき、クリックしてそれぞれのエラーを解決できます。

Notes
メモ: すべての列は初期設定でグリッドに表示されます。ただし、すべての列リンクをクリックすることで、必須オプションで出力をフィルターできます。
2. 概要を表示リンクをクリックすると、ターゲット照合エラーの概要が表示されます。概要には、さまざまなモデル照合エラーと各エラーに関連付けられている列数が示されます。必須エラー列をクリックし、適用をクリックすると、特定のエラー列だけをフィルターできます。



ターゲット照合エラー概要

  1. ターゲット照合エラーセクションでは、エラー内容と各エラーに関連付けられている列数が表示されます。
  2. 上部のセクションには、エラーカテゴリーごとにエラー数とともに一覧表示されます。
  3. クリックすることで、各カテゴリーに関連するエラーをパネル内でフィルターできます。
  4. 初期表示ではすべての列が表示されますが、任意のエラーカテゴリーをクリックして該当列を詳しく確認したり、エラーのみ表示チェックボックスを選択してエラー列のみを表示したりできます。
  5. ターゲット照合エラー概要で選択したフィルターは、DataPrep Studioページのグリッドにも反映されます。

ターゲット照合エラー

ターゲットマッチング時のエラーについて以下に説明します。
  1. 未照合列:このオプションでは、データ元とターゲットで未照合となっているすべての列が表示されます。

    Notes
    メモ:
    1. ターゲット側の必須ではない列は、利用可能な場合はデータ元の列と照合するか、無視することができます。
    2. ターゲットに存在しないデータ元の列は、照合するか削除しないとエクスポートを続行できません。

    Info
    未照合列オプションを使用する際は、必須列のみ表示オプションを切り替えて、ターゲット側で必須に設定されている列があるかどうかを確認し、該当する列を含めることができます。また、必須列のみを修正してエクスポートを続行することも可能です。


  1. データの種類の不一致:このオプションでは、データ元の列でターゲットの列とデータ型が一致しないものが表示されます。
  2. データ形式の不一致:このオプションでは、データ元の列で日付、日時、時間のフォーマットがターゲットと異なるものが表示されます。
  3. 制約の不一致:このオプションでは、ターゲットの列のデータ型制約と一致しない列が表示されます。列に制約を追加する方法については、こちらをクリックしてください。
  4. 必須列の不一致:このオプションでは、ターゲットで必須に設定されているが、データ元では必須に設定されていない列が表示されます。
    Info
    メモ:必須列は、照合されて必須として設定されていない限り、宛先にエクスポートできません。上記のアイコンをクリックして、列を必須として設定できます。また、データ型変更変換時の必須(null不可)として設定チェックボックスを使用して、列を必須にすることも可能です。
  5. データサイズ超過警告:このオプションでは、ターゲットで許容されている最大サイズを超えるデータが含まれている列をフィルタリングします。

3. エラーを修正した後、Pipeline builderページに移動し、パイプラインを実行してデータをエクスポートします。手動実行が正常に動作することを確認したら、スケジュールを設定してパイプラインを自動化できます。実行タイプの詳細はこちらをご覧ください。


よくある質問

このエラーは通常、認証の問題によって発生します。解決方法は以下の通りです。
  1. Zoho DataPrepでGoogle BigQuery接続を再認証してください。
  2. この問題が繰り返し発生しないよう、Googleアカウント設定でZoho DataPrepを信頼できるアプリとして追加してください。詳細はこちら

関連情報

Google BigQueryからZoho DataPrepへのデータインポート方法