他のクラウドサービスへのデータのエクスポート - MemSQL

他のクラウドサービスへのデータのエクスポート - MemSQL

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。



Zoho DataPrepでは、その他のクラウドサービスであるSingleStore(旧MemSQL)にデータをエクスポートできます。SingleStoreは、ANSI SQLに対応した分散型のリレーショナルSQLデータベース管理システム(RDBMS)です。データの取り込み、トランザクション処理、クエリー処理の高速性に定評があります。

MemSQLにデータをエクスポートするには

1. 既存のパイプラインを開くか、新規パイプラインを作成します。作成は、[ホーム]ページ、[パイプライン]タブ、または[ワークスペース]タブから行えます。50種類以上のデータソースからデータを取り込むことができます。

2. [パイプラインビルダー]ページでデータフローの作成と各ステージへの必要な加工処理の適用が完了したら、ステージを右クリックし、[エクスポート先を追加]を選択します。



3. [クラウドデータベース]カテゴリーから[その他のクラウドサービス]を選択するか、検索ボックスで検索します。



Notes
メモ:MemSQLの接続をすでに追加している場合は、保存済みの接続セクションで既存の接続を選択し、そのままエクスポートを続けることができます。

4. データに個人情報を含む列がある場合、個人情報の列セクションで、一部またはすべての列を対象に含めるか除外するかを選択できます。

データ列を保護するため、以下のセキュリティ設定を適用することもできます。

A. [データマスキング]  
データマスキングでは、個人情報を保護するため、元のデータを「x」で隠します。

B. [データのトークン化] 
データのトークン化では、データ内の個別の値をそれぞれランダムな値に置換します。そのため、出力内容は統計的に元のデータと同一になります。

C. [なし]
セキュリティ設定を使用しない場合は、[なし]を選択できます。



5. その他のクラウドサービス]を[データベースサービス名]のドロップダウンから選択し、データベースの種類として[MemSQL]を選択します。

6. [エンドポイント][ポート][データベース名][ユーザー名][パスワード]を入力し、データベース接続を認証します。

7. データベースサーバーがSSLによる暗号化データの送信に対応するよう設定されている場合は、[SSLを使用する]チェックボックスを選択することもできます。

8. [接続名]に重複しない名前を入力し、[接続する]をクリックします。
Notes
メモ:接続設定は、今後データをエクスポートする際に使用できるよう保存されます。認証情報は安全に暗号化され、保存されます。
 

Notes
メモ:データベースに接続できない場合は、クラウドデータベースにデータをエクスポートできるよう、Zoho DataPrepのIPアドレスがアプリの許可リストに追加されていることを確認してください。Zoho DataPrepのIPアドレスについては、こちらをクリックしてください。

9. MemSQLアカウントへの接続が完了すると、データのエクスポート方法とエクスポート先を選択できます。

10. 既存のテーブルにデータをエクスポートする場合は、[既存のテーブル]を選択し、データベース内のテーブルのリストから対象のテーブルを選択します。既存のテーブルを選択した場合、新しい行をテーブルに追加する方法は2通りあります。
  1. 新しい行をテーブルに追加する場合は、[追加する]を選択します。
  2. 新しく追加する行で既存の行を置換する場合は、ドロップダウンから[上書き]を選択します。


11. 新しいテーブルを作成してデータをエクスポートする場合は、[新しいテーブル]を選択し、[スキーマ名][テーブル名]を入力して、新しい行をテーブルに追加する方法を選択します。
Notes
メモ:スキーマ名は必須項目ではありません。
  1. 新しい行をテーブルに追加する場合は、[追加する]を選択します。
  2. 新しく追加する行で既存の行を置換する場合は、ドロップダウンから[上書き]を選択します。
Notes
メモ:予約実行およびバックフィル実行では、初回のエクスポート時に新しいテーブルが作成され、2回目以降は既存のテーブルにエクスポートされます。この設定は、既存のテーブルに新しい行を追加する際に使用されます。


12. [保存する]をクリックします。エクスポート先を追加したら、まずパイプラインを手動で実行してみることをお勧めします。手動での実行が正常に完了することを確認したら、実行を予約してパイプラインを自動化できます。実行の種類については、こちらをご参照ください。

Info
情報:各実行はジョブとして保存されます。パイプラインを実行すると、データソースから取得したデータに、各ステージで適用済みの一連の加工処理が実行され、その後、エクスポート先にデータがエクスポートされます。この一連の処理は、ジョブページに記録されます。

13. 手動での実行がエラーなく完了すると、データは正常にエクスポートされます。クラウドデータベース内の既存のテーブルにデータをエクスポートする際、手動での実行が失敗して以下の出力先との照合エラーが表示された場合は、出力先との照合手順を完了することで修正できます。

出力先との照合は、データモデルの不一致によるエクスポートエラーを防止するDataPrepの便利な機能です。

Notes
メモ:新しいテーブルにデータをエクスポートし、予約実行を使用してパイプラインを自動化する場合も、出力先との照合が適用されます。新しいテーブルとして処理されるのは、最初の予約実行時のみです。2回目以降のエクスポートでは、新しいテーブルが既存のテーブルとして扱われ、出力先との照合が適用されます。
 




クラウドデータベースへのエクスポート時の出力先との照合

データ構造の照合は、データがエクスポート先にエクスポートされる前に行われます。データ構造の照合は、データモデルの不整合によるエラーが原因でエクスポートに失敗するのを防ぐ、DataPrepの便利な機能です。データ構造の照合では、必要なクラウドデータベースのテーブルを基準データとして設定し、元データのデータセットの列を基準データのテーブルの列に合わせることができます。これにより、高品質なデータをクラウドデータベースにスムーズにエクスポートできます。

Notes
メモ:データ構造の照合に失敗しても、エクスポートが失敗したわけではありません。データ構造の照合は、データが実際にエクスポート先へエクスポートされる前に行われます。これにより、エクスポートの失敗につながる可能性があるスキーマやデータモデルのエラーを事前に検出し、エクスポートの失敗を防止できます。

データ構造の照合チェックに失敗した場合

1. エクスポート時にデータ構造の照合チェックが失敗した場合は、DataPrep Studioページに移動し、右上のデータ構造の照合アイコンをクリックして、[基準データを表示する]を選択します。基準データのデータモデルが、既存の元データのデータセットの上部に表示されます。対応する列が見つかった場合、元データのデータセットの列は、基準データのデータセットの列に合わせて自動的に配置されます。




データ構造の照合では、一致する列と不整合がある列にそれぞれ異なるアイコンや候補が表示されます。候補をクリックすると、既存の列を基準データの列に合わせてすばやく変更できます。エラーを修正しやすくするため、クラウドデータベース内の基準データのモジュールが、データの基準データとして関連付けられます。DataPrep Studioページでは、データとテーブルの対応関係を、不整合がある箇所のエラーとあわせて確認できます。エラーアイコンにカーソルを合わせると問題の詳細を確認でき、アイコンをクリックすると各エラーを解決できます。

Notes
メモ:初期設定では、すべての列がグリッド表示に表示されます。ただし、[すべての列]リンクをクリックすると、必須の項目に絞り込むことができます。
2. データ構造の照合に関するエラーの概要を確認するには、[概要を表示する]リンクをクリックします。概要には、データモデルの照合に関する各エラーと、各エラーに該当する列数が表示されます。必要なエラーが発生した列をクリックしてから、[適用する]をクリックすると、特定のエラーが発生した列に絞り込むことができます。



データ構造の照合に関するエラーの概要

  1. [データ構造の照合エラー]セクションには、エラーと各エラーに該当する列数が表示されます。
  2. 上部のセクションには、エラーのカテゴリーと各カテゴリーのエラー数が表示されます。
  3. カテゴリーをクリックすると、パネル内のエラーを各カテゴリーに基づいて絞り込むことができます。
  4. 初期設定では、すべての列が表示されます。エラーのカテゴリーをクリックして該当する列の詳細を確認したり、[エラーのみ表示する]チェックボックスを選択して、エラーが発生した列のみを表示したりできます。
  5. データ構造の照合に関するエラーの概要で選択したフィルターは、DataPrep Studioページのグリッド表示にも適用されます。

データ構造の照合エラー

データ構造の照合で発生するエラーについて、以下で説明します。
  1. 不整合がある列:元データと基準データで不整合があるすべての列が表示されます。
    Notes
    メモ:
    1. 基準データの必須ではない列は、対応する元データの列がある場合はその列と照合するか、無視できます。
    2. 基準データに存在しない元データの列は、エクスポートを続ける前に照合するか削除する必要があります。
    Info
    [不整合がある列]を使用する場合、[必須の列のみ表示する]を有効にすると、必須列(基準データで必須に設定されている列)の有無を確認し、追加できます。必須列のみを修正して、エクスポートに進むこともできます。


  1. データの種類の不整合:基準データの列とデータの種類が一致しない元データの列が表示されます。
  2. データの形式の不整合:基準データとは日付、日時、時間形式が異なる元データの列が表示されます。
  3. 制約の不整合:基準データの列に設定されているデータの種類の制約と一致しない列が表示されます。列に制約を追加する方法については、こちらをクリックしてください
  4. 必須列の不整合:基準データでは必須に設定されているものの、元データでは必須に設定されていない列が表示されます。
    Info
    メモ:必須列は、照合して必須に設定するまでエクスポート先にエクスポートできません。列の上部にあるアイコンをクリックすると、列を必須に設定できます。データの種類を変更する変換の[必須に設定する(値が必ず入力されているようにする)]チェックボックスを使用して、列を必須に設定することもできます。
  5. データサイズ超過の警告:基準データで許可されている最大サイズを超えるデータを含む列に絞り込まれます。

3. エラーを修正した後、パイプラインの作成画面に移動し、パイプラインを実行してデータをエクスポートできます。手動での実行が正常に完了することを確認したら、実行を予約してパイプラインを自動化できます。さまざまな実行の種類については こちらをご参照ください。

MemSQLからのデータのインポート