Google BigQueryへのデータエクスポート

Google BigQueryへのデータエクスポート

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

Zoho DataPrepはGoogle BigQueryへのデータエクスポートに対応しています。BigQueryは、組織のデータ管理を支援するフルマネージド型のエンタープライズデータ倉庫です。

Google BigQueryへのデータエクスポート方法

1. 既存のパイプラインを開くか、パイプラインを作成します。「ホーム」ページ、「パイプライン」タブ、または「ワークスペース」タブから操作できます。データは50以上のソースから取り込むことが可能です。

2. パイプラインビルダーページで、データフローの作成と必要な変換の適用が完了したら、ステージを右クリックして宛先を追加オプションを選択します。



2. すべての宛先タブまたはクラウドデータベースカテゴリからGoogle BigQueryを選択します。



3. 保存された外部連携から口座を選択するか、 新しく追加オプションで新しいアカウントを追加してください。



4. プロジェクトIDを入力し、Googleでサインインボタンをクリックします。



4. Googleアカウントでサインインした後、Zoho DataPrepがGoogle BigQueryプロジェクトのデータへ初めてアクセスすることを許可するために続けるをクリックします。
メモ: 接続設定は、今後Google BigQuery プロジェクトへのエクスポート時に保存されます。認証情報は安全に暗号化され、保管されます。
5. 接続をクリックします。
Notesメモ: データベースへの接続で問題が発生した場合は、ご利用のアプリケーションでZoho DataPrepのIPアドレスがホワイトリストに登録されているかご確認ください。これにより、クラウドデータベースへのデータエクスポートが可能になります。 こちらをクリックすると、Zoho DataPrepのIPアドレスについてご確認いただけます。
6. Google BigQuery プロジェクトへの接続が完了したら、データのエクスポートタイミングや保存先を選択できます。

7. 既存のテーブルへデータをエクスポートしたい場合は 既存 table を選択し、データベース内で利用可能なデータセットおよびテーブルから1つ選択します。新しい行をテーブルに追加する方法は2通りあります。
  1. 新しい行をテーブルに追加する場合は、Append を選択します。
  2. 追加した行で既存の行を置き換える場合は、ドロップダウンから Overwrite を選択します。


11. 新規テーブルの作成とデータのエクスポートを行う場合は、新規 table オプションを選択し、データセットを選び、Table 名前 を入力し、新しい行の追加方法を選択してエクスポートを続行します。



12. 保存をクリックします。宛先を追加したら、まずは手動実行でパイプラインを実行してみることをおすすめします。手動実行が正常に動作することを確認できたら、パイプラインの自動化のためにスケジュール設定が可能です。実行の種類についてはこちらをご参照ください。
Info
情報: 各実行はジョブとして保存されます。パイプライン実行時には、データソースから取得済みのデータが各ステージで申請済みの変換処理を経て準備され、その後、宛先にエクスポート済みとなります。この完了プロセスはジョブページで管理されます。

13. 手動実行がエラーなく成功した場合、データは正常にエクスポート済みとなります。クラウドデータベースの既存テーブルへデータをエクスポートする場合、手動実行時に以下のターゲット照合エラーが表示された場合は、ターゲットマッチングの手順を完了することで修正できます。

ターゲットマッチングは、データモデルの不一致によるエクスポート失敗を未然に防ぐDataPrepの便利な機能です。
Notes
メモ: 新規テーブルへのデータのエクスポートや、スケジュール実行オプションによるパイプライン自動化を行った場合でも、ターゲットマッチングは申請済みとなります。最初のスケジュール実行時のみ新規テーブルとして扱われ、以降のエクスポートでは新規テーブルは既存テーブルとして扱われ、ターゲットマッチングが申請済みとなります。
 


クラウドデータベースへのエクスポート時のターゲットマッチング

ターゲットマッチングは、データが宛先にエクスポート済みとなる前に実行されます。これはDataPrepにおける便利な機能で、データモデルの不一致によるエクスポート失敗を未然に防ぎます。ターゲットマッチングを活用することで、必要なクラウドデータベースのテーブルをターゲットとして設定し、データ元のデータセット列をターゲットテーブルに照合することができます。これにより、高品質なデータをクラウドデータベースへスムーズにエクスポートすることが可能となります。
Notes
メモ: ターゲットマッチングの失敗はエクスポート失敗と同義ではありません。ターゲットマッチングは、データが実際に宛先にエクスポート済みとなる前に実施されます。この仕組みにより、スキーマやデータモデルの不一致によるエクスポート失敗を事前に検出し、防止することができます。

ターゲット照合チェックが失敗した場合

1. エクスポート時にターゲット照合のチェックが失敗した場合、DataPrep Studioページへ移動し、右上のターゲット照合アイコンをクリックし、ターゲット表示オプションを選択します。ターゲットのデータモデルが既存データ元データセットの上部に表示されます。データ元データセット内の列は、ターゲットデータセット内の列と自動的に照合され、一致が見つかった場合は自動的に揃います。




ターゲット照合では、照合済み列と未照合列に異なるアイコンや提案が表示されます。提案をクリックすると、既存列とターゲット列の照合を素早く修正できます。エラー修正がしやすいように、クラウドデータベース内のターゲットタブがデータのターゲットとして紐付けられています。DataPrep Studioページで、テーブルとのマッピングと、照合ミスが発生した箇所にはエラーも表示されます。エラーアイコンにカーソルを合わせることで問題内容を確認でき、クリックすると個別にエラーを解決できます。

Notes
メモ: すべての列は初期設定でグリッドに表示されます。ただし、すべての列リンクをクリックすることで、必須オプションで出力をフィルターできます。
2. 概要を表示リンクをクリックして、ターゲット照合エラーの概要を表示します。概要では、さまざまなモデル照合エラーと、各エラーに関連付けられている列数が示されます。必須エラー列をクリックし、適用をクリックして特定のエラー列のみを出力でフィルターできます。



ターゲット照合エラー概要

  1. ターゲット照合エラーセクションでは、エラー内容と各エラーに関連する列数が表示されます。
  2. 上部のセクションには、エラーカテゴリーごとのエラー数が一覧表示されます。
  3. パネル内で各カテゴリーに関連するエラーをフィルターするには、それぞれをクリックしてください。
  4. 初期表示ではすべての列が表示されていますが、任意のエラーカテゴリーをクリックして列を詳しく確認したり、エラーのみ表示チェックボックスを選択してエラー列だけを表示することも可能です。
  5. ターゲット照合エラー概要でのフィルター選択は、DataPrep Studioページのグリッドにも適用されます。

ターゲット照合エラー

ターゲットのマッチングエラーについて以下に説明します。
  1. 未照合列 : このオプションでは、データ元とターゲットで未照合のすべての列が表示されます。

    Notes
    メモ:
    1. ターゲットで必須ではない列は、利用可能な場合はデータ元の列と照合するか、無視できます。
    2. ターゲットに存在しないデータ元の列は、照合するか削除してエクスポートを続行する必要があります。

    Info
    未照合列オプションを使用する場合、「必須列のみ表示」を切り替えて、ターゲットで必須に設定されている列があるかどうかを確認し、含めることができます。必須列のみ修正してエクスポートを続行することも可能です。


  1. データの種類不一致 : このオプションは、データ元の列でターゲットの列とデータ型が一致しないものを表示します。
  2. データ形式不一致 : このオプションは、データ元の列で日付、datetime、時間の形式がターゲットと異なるものを表示します。
  3. 制約不一致 : このオプションは、ターゲット列のデータ型制約に一致しない列を表示します。列に制約を追加する方法を参照するには、こちらをクリックしてください。
  4. 必須列の不一致: このオプションは、ターゲットで必須に設定されているが、データ元では必須に設定されていない列を表示します。
    Info
    メモ: 必須列は、照合され必須に設定されていない限り、宛先へエクスポートできません。列を必須に設定するには、上記のアイコンをクリックしてください。また、「必須(null不可)として設定」のチェックボックスを「データ型変更」変換の下で使用して、列を必須として設定できます。
  5. データサイズ超過警告 : このオプションは、ターゲットで許容される最大サイズを超えるデータが含まれる列をフィルタリングします。

3. エラーを修正した後、Pipeline builderページに移動し、パイプラインを実行してデータをエクスポートします。手動実行が正常に動作することを確認したら、スケジュールを設定してパイプラインの自動化も可能です。各種実行タイプについてはこちらをご覧ください


関連情報

Google BigQueryからZoho DataPrepへのデータインポート方法


    Zoho CRM 管理者向けトレーニング

    「導入したばかりで基本操作や設定に不安がある」、「短期間で集中的に運用開始できる状態にしたい」、「運用を開始しているが再度学び直したい」 といった課題を抱えられているユーザーさまに向けた少人数制のオンライントレーニングです。

    日々の営業活動を効率的に管理し、導入効果を高めるための方法を学びましょう。

    Zoho CRM Training



            Zoho Campaigns Resources

              Zoho WorkDrive Resources




                • Desk Community Learning Series


                • Digest


                • Functions


                • Meetups


                • Kbase


                • Resources


                • Glossary


                • Desk Marketplace


                • MVP Corner


                • Word of the Day


                • Ask the Experts









                                • Related Articles

                                • Google BigQueryからデータをインポートする

                                  お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。 Zoho DataPrepは、Google ...
                                • Google Cloud SQL PostgreSQLへのデータエクスポート

                                  お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。 Zoho DataPrepを使用すると、Google Cloud SQLというクラウドデータベースへデータのエクスポートが可能です。Google Cloud Platform上でリレーショナルデータベースの設定、保守、管理、運用を支援するフルマネージド型のデータベースサービスです。 ...
                                • Google Cloud SQL - MySQLへのデータエクスポート

                                  お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。 Zoho DataPrepを使用すると、Google Cloud SQL(クラウドデータベース)へデータのエクスポートが可能です。これは、リレーショナルデータベースの設定、保守、管理、運用をGoogle Cloud ...
                                • Google ドライブからデータをインポートする

                                  お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。 Zoho DataPrepは、Googleが開発したファイルストレージおよび同期サービスであるGoogle Driveからのデータインポートに対応しています。Google Driveを利用すると、ユーザーはファイルをクラウドに保存し、デバイス間で同期し、ファイルを共有できます。 ...
                                • Google ドライブにデータをエクスポートする

                                  お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。 Zoho DataPrepは、Googleが開発したファイルストレージおよび同期サービスであるGoogle Driveへのデータエクスポートをサポートしています。Google ...

                                Resources

                                Videos

                                Watch comprehensive videos on features and other important topics that will help you master Zoho CRM.



                                eBooks

                                Download free eBooks and access a range of topics to get deeper insight on successfully using Zoho CRM.



                                Webinars

                                Sign up for our webinars and learn the Zoho CRM basics, from customization to sales force automation and more.



                                CRM Tips

                                Make the most of Zoho CRM with these useful tips.