Microsoft Azure-SQLデータウェアハウスへのデータエクスポート

Microsoft Azure-SQLデータウェアハウスへのデータエクスポート

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

Zoho DataPrep は、クラウドデータベースカテゴリー内で Microsoft Azure へのデータエクスポートに対応しています。Azure はマイクロソフトが運営するクラウドコンピューティングプラットフォームで、アプリケーションやサービスへのアクセス、管理、開発を提供しています。

Microsoft Azure SQL データ倉庫へのデータエクスポート方法

1. 既存のパイプラインを開くか、パイプラインを作成します。ホームページ、Pipelinesタブ、またはWorkspacesタブから操作できます。データは50以上のソースから取り込むことが可能です。

2. Pipeline Builderページで、データフローの作成および必要な変換をステージごとに適用した後、ステージを右クリックし、宛先を追加オプションを選択します。


3. Cloud databasesカテゴリーからMicrosoft Azureを選択するか、検索ボックスで検索します。


Notes
メモ: 以前に Microsoft Azure 連携を追加している場合は、保存済み外部連携セクションから既存の連携を選択し、そのままエクスポート処理を続行できます。
4. データに個人情報を含む列がある場合、個人情報列セクションで一部またはすべての列を含めるか除外するかを選択できます。

個人情報列を保護するため、以下のセキュリティ手法を適用することも可能です。

A. データマスキング  
データマスキングは、元のデータ内容を「x」で隠し、個人情報を保護します。

B. データトークナイゼーション 
データトークナイゼーションは、データ内の各ユニークな値をランダムな値に置き換えます。そのため、出力は元のデータと統計的に同一となります。

C. なし
セキュリティ手法を使用しない場合は「なし」を選択できます。



5. 次へをクリックし、Database サービス 名前のドロップダウンからMicrosoft Azureを選択し、Database 種類のドロップダウンからSQL Data 倉庫を選択します。

6. データベース接続の認証のため、Server 名前PortDatabase 名前ユーザー名パスワードを入力します。

7. データベースサーバーがSSLによる暗号化データ送信に設定されている場合は、使用する SSLチェックボックスを選択することもできます。

8. Connection 名前欄に接続の一意な名前を入力し、接続をクリックします。
Notes
メモ: この接続設定は今後のデータエクスポートのために保存されます。認証情報は安全に暗号化され、保存されます。



Notes
メモ: データベースへの接続に問題がある場合は、Zoho DataPrepのIPアドレスがご利用のアプリケーションでホワイトリストに登録されているかご確認ください。これによりクラウドデータベースへのデータエクスポートが可能となります。

9. クラウドデータベースへの接続が完了すると、データのエクスポート方法やエクスポート先を選択できます。

10. 既存のテーブルにデータをエクスポートしたい場合は既存 tableを選択し、データベース内で利用可能なテーブルリストから1つ選びます。既存テーブルのオプションを選択した場合、新規行をどのように追加するかを2つの方法から選択できます。
  1. 新規行をテーブルに追加する場合は、Appendを選択します。
  2. 新規行で既存行を置き換える場合は、ドロップダウンからOverwriteを選択します。


11. 新規テーブルを作成してデータをエクスポートしたい場合は、新規テーブルオプションを選択し、スキーマ名テーブル名を入力し、新しい行をテーブルに追加する方法を選択してください。
Notes
メモ: スキーマ名は必須項目ではありません。
  1. 新しい行をテーブルに追加したい場合は、追加を選択します。
  2. 追加した行で既存の行を置き換えたい場合は、ドロップダウンから上書きを選択します。
Notes
メモ: スケジュール実行やバックフィル実行の場合、最初のエクスポートは新規テーブルに完了し、その後のエクスポートは既存テーブルに完了します。このオプションは新しい行を既存テーブルに追加する際に使用されます。
 


12. 保存をクリックします。宛先を追加したら、まず手動実行でパイプラインを試してみましょう。手動実行が正常に動作することを確認できたら、その後スケジュールを設定してパイプラインを自動化できます。さまざまな実行タイプについてはこちらをご参照ください。

Info
情報: 各実行はジョブとして保存されます。パイプライン実行を行うと、データソースから取得済みのデータが各ステージで申請済みの変換処理を経て準備され、その後宛先にエクスポート済みとなります。この一連の処理はジョブページで記録されます。

13. 手動実行がエラーなく成功した場合、データは正常にエクスポート済みとなります。クラウドデータベースの既存テーブルにデータをエクスポートする場合、手動実行で以下のターゲット照合エラーが発生した場合は、ターゲットマッチング手順を完了することで修正できます。

ターゲットマッチングは、データモデルの不一致によるエクスポート失敗を防ぐためのDataPrepの便利な機能です。

Notes
メモ: Target matching は、データを新規テーブルにエクスポートし、スケジュール実行オプションでパイプラインを自動化した場合でも申請済みとなります。最初のスケジュール時のみ新規テーブルとして扱われますが、以降のエクスポートでは新規テーブルが既存テーブルとして扱われ、target matchingは申請済みとなります。
 




クラウドデータベースへのエクスポート時のTarget matching

Target matchingは、データが宛先にエクスポートされる前に実行されます。DataPrepの便利な機能であり、データモデルの不一致によるエクスポート失敗を防ぎます。target matchingを利用することで、必要なクラウドデータベーステーブルをターゲットとして設定し、データ元データセットの列をターゲットテーブルに照合させることができます。これにより、高品質なデータをクラウドデータベースへ円滑にエクスポートできます。

Notes
メモ: Target matchingの失敗は、エクスポート失敗と同じではありません。target matchingは、データが実際に宛先へエクスポートされる前に行われます。これにより、スキーマやデータモデルのエラーを事前に検出し、エクスポート失敗を未然に防ぎます。

Target照合チェックが失敗した場合

1. エクスポート時にTarget照合チェックが失敗した場合は、DataPrep Studioページに移動し、右上のtarget matchingアイコン をクリックし、ターゲットを表示オプションを選択します。ターゲットのデータモデルが既存データ元データセットの上部に表示されます。データ元データセット内の列は、自動的にターゲットデータセットの列に照合されます(該当する列があれば)。




Target matchingは、照合済み列と未照合列に対して異なるアイコンや提案を表示します。これらの提案をクリックすることで、既存列とターゲット列の照合を素早く修正できます。エラーを効率的に修正するため、クラウドデータベース内のターゲットタブがデータのターゲットとして紐づけられています。DataPrep Studioページでデータとテーブルのマッピングおよび不一致箇所のエラーを確認できます。エラーアイコンにカーソルを合わせると、問題内容を確認でき、クリックして個別にエラー解消も可能です。

Notes
メモ: すべての列は初期設定でグリッドに表示されますが、すべての列リンクをクリックして必須オプションで絞り込みが可能です。
2. 表示する 概要リンクをクリックすると、対象の照合エラーの概要が表示されます。概要では、さまざまなモデル照合エラーと各エラーに関連付けられている列の数が表示されます。必須エラー列をクリックし、適用するをクリックすると、特定のエラー列で出力をフィルターできます。



Target 照合エラーの概要

  1. Target照合エラーのセクションでは、エラーと各エラーに関連付けられている列の数が表示されます。
  2. 上部のセクションには、エラーカテゴリーごとにエラーの数とともにリストが表示されます。
  3. パネル内で各カテゴリーに関連するエラーをフィルターするには、それらをクリックできます。
  4. 初期設定の表示では、すべての列が表示されますが、任意のエラーカテゴリーをクリックして列を詳細に確認したり、エラーのみ表示チェックボックスを選択してエラー列のみを表示することも可能です。
  5. Target 照合エラーの概要で選択したフィルターは、DataPrep Studioページのグリッドにも適用されます。

Target 照合エラー

Target照合におけるエラーについては、以下のとおりです。
  1. 不一致の列:このオプションでは、データ元とターゲットの間で一致していないすべての列が表示されます。

    Notes
    メモ:
    1. ターゲットの必須でない列は、データ元の列と照合できる場合は照合、できない場合は無視できます。
    2. データ元に存在し、ターゲットに存在しない列は、照合するか削除しないとエクスポートを続行できません。

    Info
    不一致の列オプションを利用する際は、「必須列のみ表示」オプションを切り替えて、ターゲット側で必須に設定されている列があるかどうかを確認し、必要に応じて含めることができます。必須列のみを修正し、エクスポートを続行することも可能です。


  1. データの種類不一致:このオプションは、データ元の列でターゲットの列とデータの種類が一致しないものを表示します。
  2. データ形式の不一致:このオプションは、データ元の列で日付、datetime、時間の形式がターゲットと異なるものを表示します。
  3. 制約の不一致:このオプションは、ターゲットの列のデータの種類制約に一致しない列を表示します。列に制約を追加する方法については、こちらをクリックしてください。
  4. 必須列の不一致:このオプションは、ターゲットで必須に設定されているが、データ元では必須に設定されていない列を表示します。

    Info
    メモ: 必須列は、照合され必須に設定されていない限り、宛先にエクスポートできません。列の上部にある アイコンをクリックして必須に設定できます。また、必須に設定(NULL不可)チェックボックスをデータの種類の変更変換で使用して、列を必須に設定することもできます。
  5. データサイズ超過警告:このオプションは、ターゲットで許容されている最大サイズを超えているデータを含む列のみをフィルターします。

3. エラーを修正した後、Pipeline builderページに移動し、パイプラインを実行してデータをエクスポートします。手動実行が正常に動作することを確認したら、パイプラインの自動化スケジュールを設定できます。さまざまな実行タイプの詳細はこちらをご参照ください