Google BigQueryからのデータのインポート

Google BigQueryからのデータのインポート

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。




Zoho DataPrepでは、Google BigQueryからデータをインポートできます。BigQueryは、組織のデータ管理に役立つフルマネージド型のエンタープライズ向けデータウェアハウスです。このコネクターを使用すると、ETLワークフローを効率化し、データをスムーズに移行できるほか、Google BigQueryとZoho DataPrep間のデータ連携を簡素化できます。

前提条件

Google BigQueryからデータを取得するには、プロジェクトIDデータセットの場所の詳細が必要です。

  1. Googleアカウントにログインします。
  2. インポートするデータセットが含まれているプロジェクトを選択します。プロジェクトIDは、BigQueryコンソールの左上にあるプロジェクト選択欄に表示されます。この欄では、別のプロジェクトを選択したり、プロジェクトを切り替えたりできます。
  3. いずれかのテーブル名をクリックして、詳細を表示します。データセット情報欄に、データセットの場所に関する詳細が表示されます。詳しくは、BigQueryの場所に関する記事をご参照ください。
Google BigQueryに接続する前に、次の条件を満たしていることを確認してください。

1. Zoho DataPrepサーバーにデータベースの読み取り権限を付与します。

2. データベースのログイン認証情報が正しいことを確認します。接続を確認するには、各データベースに対応する標準のデータベース管理ソフトウェアを使用して、Zoho DataPrepサーバーから接続先のデータベースに接続してみることをお勧めします。

Google BigQueryからデータをインポートするには

1. パイプラインを作成するか、[ホーム]ページ、[パイプライン]タブ、または[ワークスペース]タブから既存のパイプラインを開き、[データを追加する]をクリックします。また、[データのインポート][ワークスペース]タブでクリックして、データをインポートすることもできます。

情報:パイプラインの作成画面の上部にある[データのインポート]アイコンをクリックして、複数のデータソースからパイプラインにデータを取り込むこともできます。




2. 左側の欄から[クラウドデータベース]カテゴリーを選択し、[Google BigQuery]をクリックします。検索ボックスで直接検索することもできます。



3. 保存済みのデータ連携からアカウントを選択するか、[新しく追加する]を使用して新しいアカウントを追加します。



4. 新しいデータ連携を追加するには、プロジェクトIDを入力し、[Googleアカウントでサインインする]ボタンをクリックします。

メモ:プロジェクトIDは、Google Cloudコンソールで確認できます。Google BigQueryでは、確認済みのIDに基づいてリソースへのアクセスが承認されます。

5. Googleアカウントでサインインした後、初回のみ[続行]をクリックして、Zoho DataPrepによるGoogle BigQueryプロジェクトのデータへのアクセスを許可します。



メモ:データ連携の設定は安全に保存され、今後Google BigQueryプロジェクトからデータをインポートする際に使用されます。

6. インポートするテーブルを選択します。[インポート]をクリックします。



7. SQLクエリーを使用して、データを選択し、インポートすることもできます。

Warningデータベースからクエリーを使用してデータをインポートする場合、増分取得は利用できません。こちらをクリックすると、クラウドデータベースからの増分取得について詳しく確認できます。




8. [インポート]をクリックして、Google BigQueryプロジェクトからのデータのインポートを開始します。

9. データのインポートが完了すると、パイプラインの作成画面が開き、ETLパイプラインへの加工処理の適用を開始できます。また、ステージを右クリックして[データを準備する]を選択すると、DataPrep Studioページでさまざまな加工処理を使用してデータを準備できます。こちらをクリックすると、加工処理の詳細を確認できます。



10. データフローを作成し、各ステージに必要な加工処理を適用したら、ステージを右クリックして、[エクスポート先を追加]すると、データフローの作成が完了します。
メモ:ETLパイプラインにエクスポート先を追加した後、まず手動での実行により、パイプラインの実行を試すことができます。手動での実行が正常に機能することを確認したら、パイプラインとデータ移動を自動化するための予約を設定できます。実行の種類については、こちらをご確認ください。
予約、バックフィル、手動での再読み込み、ウェブフック、Zoho Flowを設定する際は、すべてのデータ取得元でインポート設定を行う必要があります。インポート設定を行わないと、実行を保存できません。インポート設定の方法については、こちらをクリックしてご確認ください。

11. 実行を設定すると、実行時にパイプラインジョブが作成されます。ジョブのステータスと詳細は、ジョブの概要で確認できます。ジョブの概要については、こちらをクリックしてご確認ください。

Google BigQueryのデータ連携を編集するには  

DataPrepでは、データソースやエクスポート先に接続するたびに認証情報を入力する手間を省くため、データ連携が保存されます。保存済みのデータ連携を新しいパラメーターや認証情報で更新するには、 [データ連携を編集する]オプションを使用します。
 

1. 新しいデータセットの作成時に、[保存済みのデータ連携]を、[データソースを選択]ボックスの左ペインでクリックします。


 

2. 保存済みのデータ連携は、データのインポート画面から直接管理できます。(三点リーダー)アイコンをクリックすると、データ連携の共有、編集、概要の表示、削除を行えます。

 

3. [データ連携を編集する]オプションをクリックします。保存済みのデータ連携のプロジェクトIDを変更し、[更新する]をクリックします。



よくある質問

Zoho DataPrepでは、定期的に有効期限が切れるアクセストークンを使用してGoogle BigQueryに接続します。再度サインインしなくてもデータ連携を有効な状態に保てるよう、リフレッシュトークンを使用して新しいアクセストークンを自動的に取得します。ただし、Google Cloudの設定や、トークンの有効期限に関する管理者ポリシーによっては、リフレッシュトークンの有効期限が切れたり、取り消されたり、無効になったりすることがあります。この場合、トークンを自動的に更新できないため接続エラーが発生し、既存のデータ連携を再認証する必要があります。

このようなエラーを防ぐには、Zoho DataPrepを信頼できるアプリとして追加してください。これにより、トークンが頻繁に取り消されるのを防ぐことができます。詳細はこちら。

Notes
メモ:これらのセキュリティポリシー、トークンの有効期限、取り消しは、Zoho DataPrepではなく、自分の組織のGoogle Cloud管理者によって管理されます。
 

関連情報

新しいパイプラインを追加する方法

保存済みのデータ連携を使用したデータのインポート

クラウドストレージサービスからのデータのインポート

パイプラインのスケジュール設定

ローカルデータベースからのデータのインポート