Snowflakeへのデータのエクスポート
お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。
Zoho DataPrepでは、クラウドデータベースのSnowflakeにデータをエクスポートできます。Snowflakeは、データを保存、処理、分析できるクラウドデータウェアハウスです。
Snowflakeにデータをエクスポートするには
1. 既存のパイプラインを開くか、パイプラインを作成します。操作は、［ホーム］ページ、［パイプライン］タブ、または［ワークスペース］タブから行えます。50種類以上のデータ元からデータを取り込むことができます。
2. ［パイプラインビルダー］ページで、データフローの作成と各ステージへの必要な変換処理の適用が完了したら、ステージを右クリックし、［出力先を追加］を選択します。
3. ［クラウドデータベース］カテゴリーから［Snowflake］を選択するか、検索欄で検索します。
メモ：Snowflakeのデータ連携をすでに追加している場合は、［保存済みのデータ連携］セクションで既存のデータ連携を選択し、エクスポートを続けることができます。
4. データに個人情報を含む列がある場合、［個人情報を含む列］セクションで、その一部またはすべてを含めるか除外するかを選択できます。
データ列を保護するため、以下のセキュリティ設定を適用することもできます。
A. ［データマスキング］
データマスキングでは、個人情報を保護するために、元のデータを「x」で隠します。
B. ［データのトークン化］
データのトークン化では、データ内の異なる値をそれぞれランダムな値に置き換えます。出力内容は、統計的に元のデータと同一になります。
C. ［なし］
セキュリティ設定を使用しない場合は、［なし］を選択できます。
5. ［次へ］をクリックし、［データベースサービス名］のドロップダウンから［Snowflake］を選択します。
6. Snowflakeデータベースの［アカウント名］、［ユーザーの役割］、［ウェアハウス名］、［データベース名］、および必要な［認証の種類］を入力します。
メモ：Snowflakeデータベースのインスタンスが格納されているウェアハウスを入力します。ウェアハウスが有効で、指定したユーザーにデータベースへのアクセス権限があることを確認してください。
［認証の種類］で［秘密鍵認証］を選択した場合
次の詳細を入力します。
［ユーザー名］ - データベースの認証に使用するSnowflakeのユーザー名を入力します。Snowflakeアカウントへのサインインに使用するユーザー名と同じです。
［秘密鍵のパスフレーズ］ - 秘密鍵がパスフレーズで暗号化されている場合は、キーペアの生成時に使用したパスフレーズを入力します。秘密鍵にパスフレーズがない場合、この項目は空欄のままにできます。
［秘密鍵］ - Snowflakeのユーザーアカウントに登録されている公開鍵に対応するRSA秘密鍵ファイルの内容を、PEM形式で貼り付けます。秘密鍵は、キーペア認証を使用してSnowflakeで安全に認証するための機密性の高い暗号化認証情報です。RSA秘密鍵の作成方法についてはこちらをクリックしてください
メモ：OpenSSLを使用して、PEM形式の秘密鍵と公開鍵のペアを生成できます。Zoho DataPrepとのデータ連携を確立する前に、秘密鍵を作成してください。
［認証の種類］で［OAuth認証］を選択した場合
次の詳細を入力します。
［クライアントID］ - 登録済みアプリの公開識別子です。アプリの登録後に発行されます。
［クライアントシークレット］ - アプリの所有権を確認するために利用者に発行されるキーです。アプリの登録後に取得できます。
［スコープ（任意）］ - アクセストークンに付与するアクセス権限を制限します。
［トークンURL］ - アクセストークンのURLです。アクセストークンは、保護されたリソースへのアクセスに使用されます。
［認可URL］ - 認可サーバーのURLです。
［コールバックURL］ - OAuth2.0による認証後、このURLにリダイレクトされます。認証を正常に完了するには、このURLをコピーしてアプリに貼り付けます。このURLは、DataPrepでSnowflakeのデータ連携を作成するときに生成されます。
7. ［データ連携名］に重複しない名前を入力し、［連携する］をクリックします。
メモ：データ連携の設定は、今後データをエクスポートするときに使用できるよう保存されます。認証情報は安全に暗号化されて保存されます。
8. クラウドデータベースとの連携が完了すると、データのエクスポート方法と出力先を選択できます。
メモ：データベースに接続できない場合は、クラウドデータベースにデータをエクスポートできるよう、アプリでZoho DataPrepのIPアドレスが許可リストに登録されていることを確認してください。こちらをクリックしてZoho DataPrepのIPアドレスを確認してください。
10. 既存のテーブルにデータをエクスポートする場合は、［既存のテーブル］を選択し、データベース内の利用可能なテーブルのリストからテーブルを選択します。既存のテーブルを選択した場合、新しい行をテーブルに追加する方法は2つあります。
- 新しい行をテーブルに追加する場合は、［追加する］を選択します。
- 新しく追加する行で既存の行を置換する場合は、ドロップダウンから［上書き］を選択します。
11. 新しいテーブルを作成してデータをエクスポートする場合は、［新しいテーブル］を選択し、［スキーマ名］と［テーブル名］を入力して、新しい行をテーブルに追加する方法を選択します。
メモ：スキーマ名は必須項目ではありません。
- 新しい行をテーブルに追加する場合は、［追加する］を選択します。
- 新しく追加する行で既存の行を置換する場合は、ドロップダウンから［上書き］を選択します。
12. ［保存する］をクリックします。エクスポート先を追加したら、まずパイプラインを手動で実行してみることをお勧めします。手動での実行が正常に動作することを確認した後、予約を設定してパイプラインを自動化できます。実行の種類については、こちらをご参照ください。
情報：各実行は処理として保存されます。パイプラインを実行すると、データソースから取得したデータに、各ステージで適用済みの一連の加工処理が実行され、その後、データがエクスポート先にエクスポートされます。この一連のプロセスは、［処理］ページに記録されます。
13. 手動での実行がエラーなく成功すると、データは正常にエクスポートされます。クラウドデータベース内の既存のテーブルにデータをエクスポートする際、手動での実行が失敗し、以下のデータ構造の照合エラーが発生した場合は、データ構造の照合手順を完了することでエラーを修正できます。
データ構造の照合は、データモデルの不整合によるエクスポートの失敗を防止するDataPrepの便利な機能です。
メモ：新しいテーブルにデータをエクスポートし、予約実行オプションを使用してパイプラインを自動化する場合でも、データ構造の照合が適用されます。新しいテーブルとして扱われるのは、初回の予約実行時のみです。それ以降のエクスポートでは、新しいテーブルが既存のテーブルとして扱われ、データ構造の照合が適用されます。
クラウドデータベースへのエクスポート時のデータ構造の照合
データ構造の照合は、データがエクスポート先にエクスポートされる前に行われます。データ構造の照合は、データモデルの不整合によるエクスポートの失敗を防止するDataPrepの便利な機能です。データ構造の照合を使用すると、必要なクラウドデータベースのテーブルを基準データとして設定し、元データのデータセットの列を基準データのテーブルに合わせることができます。これにより、高品質なデータをクラウドデータベースにスムーズにエクスポートできます。
メモ：データ構造の照合の失敗は、エクスポートの失敗ではありません。データ構造の照合は、データが実際にエクスポート先へエクスポートされる前に行われます。これにより、エクスポートの失敗につながる可能性のあるスキーマやデータモデルのエラーを事前に検出し、エクスポートの失敗を防止できます。
データ構造の照合チェックに失敗した場合
1. エクスポート時にデータ構造の照合チェックが失敗した場合は、DataPrep Studioページに移動し、右上にあるデータ構造の照合アイコン
をクリックして、［基準データを表示する］を選択します。基準データのデータモデルが、既存の元データのデータセットの上に表示されます。一致する列が見つかった場合、元データのデータセット内の列は、基準データのデータセット内の列に合わせて自動的に配置されます。
データ構造の照合では、一致する列と不整合がある列に、それぞれ異なるアイコンと候補が表示されます。候補をクリックすると、既存の列を基準データの列に合わせるための変更をすばやく行うことができます。エラーを修正しやすくするため、クラウドデータベース内の基準データのモジュールが、データの基準データとして関連付けられます。DataPrep Studioページでは、データとテーブルの対応関係に加えて、不整合がある箇所のエラーも確認できます。エラーアイコンにカーソルを合わせると問題の内容を確認でき、アイコンをクリックすると各エラーを解決できます。
メモ：標準では、すべての列がグリッド表示に表示されます。ただし、［すべての列］リンクをクリックすると、必要な項目に絞り込むことができます。
2. データ構造の照合に関するエラーの概要を確認するには、［概要を表示する］リンクをクリックします。概要には、データモデルの照合に関する各種エラーと、各エラーに関連する列の数が表示されます。必要なエラーが発生した列をクリックし、［適用］をクリックすると、特定のエラーが発生した列に絞り込むことができます。
データ構造の照合に関するエラーの概要
- ［データ構造の照合エラー］セクションには、エラーと各エラーに関連する列の数が表示されます。
- 上部のセクションには、エラーのカテゴリーと各カテゴリーのエラー数が表示されます。
- カテゴリーをクリックすると、パネル内のエラーを各カテゴリーに関連するものだけに絞り込むことができます。
- 標準の表示では、すべての列が表示されます。ただし、エラーのカテゴリーをクリックして該当する列の詳細を確認したり、［エラーのみ表示する］チェックボックスを選択して、エラーが発生した列のみを表示したりできます。
- データ構造の照合に関するエラーの概要で選択したフィルターは、DataPrep Studioページのグリッド表示にも適用されます。
データ構造の照合エラー
基準データとの照合で発生するエラーは、次のとおりです。
-
不整合がある列：元データと基準データにある不整合がある列をすべて表示します。
メモ。
- 基準データの必須ではない列は、対応する元データの列がある場合はその列と照合するか、無視できます。
- 元データに存在し、基準データにはない列は、エクスポートを続けるために照合または削除する必要があります。
不整合がある列のオプションを使用する場合、［必須の列のみ表示する］オプションを切り替えると、必須列（基準データで必須に設定されている列）があるかどうかを確認し、対象に含めることができます。必須列の不整合のみを修正して、エクスポートを続けることもできます。
- データの種類の不整合：基準データの列とデータの種類が一致しない元データの列を表示します。
- データの形式の不整合：日付、日時、時間の形式が基準データと異なる元データの列を表示します。
- 制約の不整合：基準データの列に設定されているデータの種類の制約と一致しない列を表示します。列に制約を追加する方法については、こちらをクリックしてください。
-
必須列の不整合：基準データでは必須に設定されているものの、元データでは必須に設定されていない列を表示します。
メモ：必須列は、照合して必須に設定しない限り、エクスポート先にエクスポートできません。列の上にあるアイコンをクリックすると、必須に設定できます。また、データの種類の変更処理にある［必須に設定する（値が必ず入力されているようにする）］チェックボックスを使用して、列を必須に設定することもできます。
- データサイズ超過の警告：基準データで許可されている最大サイズを超えるデータを含む列を抽出します。
3. エラーを修正したら、パイプラインの作成画面に移動し、パイプラインを実行してデータをエクスポートできます。手動での実行が正常に機能することを確認した後、実行を予約してパイプラインを自動化できます。実行の種類については、こちらをご覧ください。