Google BigQueryへのデータのエクスポート

Google BigQueryへのデータのエクスポート

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

Zoho DataPrepでは、Google BigQueryにデータをエクスポートできます。BigQueryは、組織のデータ管理に役立つフルマネージド型のエンタープライズ向けデータウェアハウスです。

Google BigQueryにデータをエクスポートするには

1. 既存のパイプラインを開くか、イプラインを[ホーム]ページ、[パイプライン]タブ、または[ワークスペース]タブから作成できます。50種類以上のデータソースからデータを取り込めます。

2. [パイプラインビルダー]ページで、データフローの作成と各ステージへの必要な加工処理の適用が完了したら、ステージを右クリックし、[エクスポート先を追加する]を選択します。



2. [すべてのエクスポート先]タブ、または[クラウドデータベース]カテゴリーから[Google BigQuery]を選択します。



3. 保存済みのデータ連携からアカウントを選択するか、[新しく追加する]を使用して新しいアカウントを追加します。



4. プロジェクトIDを入力し、[Googleアカウントでサインインする]ボタンをクリックします。



4. Googleアカウントでサインインした後、[続ける]をクリックして、Zoho DataPrepがGoogle BigQueryプロジェクトのデータに初めてアクセスすることを許可します。
メモ:データ連携の設定は、今後Google BigQueryプロジェクトへエクスポートする際に使用できるよう保存されます。認証情報は安全に暗号化され、保存されます。
5. [連携する]をクリックします。
Notesメモ:データベースに接続できない場合は、クラウドデータベースへデータをエクスポートできるよう、アプリでZoho DataPrepのIPアドレスが許可リストに登録されていることを確認してください。 こちらをクリックすると、Zoho DataPrepのIPアドレスについて確認できます。
6. Google BigQueryプロジェクトへの接続が完了したら、データをエクスポートするタイミングと場所を選択できます。

7. 既存のテーブルにデータをエクスポートする場合は、[既存のテーブル]を選択し、データベース内で利用可能なデータセットとテーブルのリストから選択します。新しい行をテーブルに追加する方法は、次の2種類です。
  1. 新しい行をテーブルに追加する場合は、[追加する]を選択します。
  2. 新しく追加する行で既存の行を置換する場合は、ドロップダウンから[上書きする]を選択します。


11. 新しいテーブルを作成してデータをエクスポートする場合は、[新しいテーブル]を選択し、データセットを選択して[テーブル名]を入力します。次に、新しい行をテーブルに追加する方法を選択し、エクスポートに進みます。



12. [保存する]をクリックします。エクスポート先を追加したら、まずパイプラインを手動で実行してみてください。手動での実行が正常に完了することを確認した後、実行を予約してパイプラインを自動化できます。実行の種類については、こちらをご参照ください。
Info
情報:各実行は処理として保存されます。パイプラインを実行すると、データソースから取得したデータに、各ステージで適用した一連の加工処理が実行され、その後エクスポート先にデータがエクスポートされます。この一連の処理は、処理ページに記録されます。

13. 手動での実行がエラーなく成功すると、データが正常にエクスポートされます。クラウドデータベースの既存のテーブルにデータをエクスポートする際、以下のデータ構造の照合エラーによって手動での実行に失敗した場合は、データ構造の照合手順を完了することでエラーを修正できます。

データ構造の照合は、データモデルの不一致によるエラーが原因でエクスポートに失敗することを防ぐ、DataPrepの便利な機能です。
Notes
メモ:データを新しいテーブルにエクスポートし、予約実行を使用してパイプラインを自動化する場合にも、データ構造の照合が適用されます。新しいテーブルとして扱われるのは、最初の予約実行時のみです。以降のエクスポートでは、作成したテーブルが既存のテーブルとして扱われ、データ構造の照合が適用されます。
 


クラウドデータベースへのエクスポート時のデータ構造の照合

データ構造の照合は、データがエクスポート先にエクスポートされる前に実行されます。データ構造の照合は、データモデルの不一致によるエラーが原因でエクスポートに失敗することを防ぐ、DataPrepの便利な機能です。データ構造の照合では、必要なクラウドデータベースのテーブルを基準データとして設定し、元データのデータセットの列を基準データのテーブルに一致するよう調整できます。これにより、高品質なデータをクラウドデータベースへスムーズにエクスポートできます。
Notes
メモ:データ構造の照合の失敗は、エクスポートの失敗ではありません。データ構造の照合は、データが実際にエクスポート先へエクスポートされる前に実行されます。これにより、エクスポートの失敗につながるスキーマまたはデータモデルのエラーを事前に検出し、エクスポートの失敗を防止できます。

データ構造の照合チェックに失敗した場合

1. データ構造の照合チェックがエクスポート中に失敗した場合は、[DataPrep Studio]ページに移動し、右上にあるデータ構造の照合アイコンをクリックして、[基準データを表示する]を選択します。基準データのデータモデルが、既存の元データのデータセットの上部に表示されます。一致する列が見つかった場合、元データのデータセットの列は、基準データのデータセットの列と一致するよう自動的に配置されます。




データ構造の照合では、一致する列と不整合がある列にそれぞれ異なるアイコンと候補が表示されます。候補をクリックすると、既存の列を基準データの列に一致させるための変更をすばやく適用できます。エラーを修正しやすくするため、クラウドデータベースの対象モジュールがデータの基準データとして関連付けられます。[DataPrep Studio]ページでは、データとテーブルの対応関係を確認でき、不一致がある箇所にはエラーも表示されます。エラーアイコンにカーソルを合わせると問題の内容を確認でき、クリックすると各エラーを解決できます。

Notes
メモ:標準では、すべての列がグリッドに表示されます。ただし、[すべての列]リンクをクリックすると、必要な項目でフィルターできます。
2. [概要を表示する]リンクをクリックして、データ構造の照合エラーの概要を表示します。概要には、データモデルの照合エラーの種類と、各エラーに関連する列数が表示されます。必要なエラーが発生した列をクリックして[適用する]をクリックすると、特定のエラーが発生した列を抽出できます。



データ構造の照合に関するエラーの概要

  1. [データ構造の照合エラー]セクションには、エラーと各エラーに関連する列数が表示されます。
  2. 上部のセクションには、エラーのカテゴリーと各カテゴリーのエラー数が表示されます。
  3. カテゴリーをクリックすると、パネル内で各カテゴリーに関連するエラーを抽出できます。
  4. 標準の表示では、すべての列が表示されます。ただし、任意のエラーカテゴリーをクリックして列の詳細を確認したり、[エラーのみ表示する]チェックボックスを選択してエラーが発生した列だけを表示したりできます。
  5. データ構造の照合に関するエラーの概要で選択したフィルターは、[DataPrep Studio]ページのグリッド表示にも適用されます。

データ構造の照合エラー

基準データとの照合で発生するエラーについて、以下で説明します。
  1. 未照合の列:この項目には、元データと基準データの未照合の列がすべて表示されます。

    Notes
    メモ:
    1. 基準データの必須ではない列は、対応する元データの列がある場合は照合するか、無視できます。
    2. 元データには存在するものの基準データにはない列は、エクスポートを続けるために照合または削除する必要があります。

    Info
    未照合の列の項目では、[必須の列のみ表示する]を有効にすると、必須列(基準データで必須に設定されている列)があるかどうかを確認して、追加できます。必須列のみを修正して、エクスポートを続けることもできます。


  1. データの種類の不整合:元データの列のうち、データの種類が基準データの列と一致しない列が表示されます。
  2. データの形式の不整合:元データの列のうち、日付、日時、時間形式が基準データと異なる列が表示されます。
  3. 制約の不整合:基準データの列に設定されているデータの種類の制約と一致しない列が表示されます。列に制約を追加する方法については、こちらをクリックしてください。
  4. 必須列の不整合:基準データでは必須に設定されているものの、元データでは必須に設定されていない列が表示されます。
    Info
    メモ:必須列は、照合して必須に設定しない限り、エクスポート先にエクスポートできません。列の上にあるアイコンをクリックすると、必須に設定できます。また、[データの種類を変更]の加工にある[必須に設定する(値が必ず入力されているようにする)]チェックボックスを使用して、列を必須に設定することもできます。
  5. データサイズ超過の警告:データが基準データで許容される最大サイズを超えている列が抽出されます。

3. エラーを修正した後、パイプラインの作成画面に移動し、パイプラインを実行してデータをエクスポートできます。手動での実行が正常に動作することを確認したら、実行を予約してパイプラインを自動化できます。実行の種類については、こちらをご参照ください。


よくある質問

通常、このエラーは認証に関する問題が原因で発生します。解決するには、次の手順を実行します。
  1. Zoho DataPrepでGoogle BigQueryの接続を再認証します。
  2. この問題の再発を防ぐには、Googleアカウントの設定でZoho DataPrepを信頼できるアプリとして追加します。詳細はこちら

関連情報

Google BigQueryからZoho DataPrepにデータをインポートする方法