Amazon S3からのデータインポート

Amazon S3からのデータインポート

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。




0:: Zoho DataPrep では、Amazon S3 クラウドストレージサービスからデータをインポートできます。Amazon Simple Storage Service(Amazon S3)は、AWS が提供する Web サービスインターフェイスを介したオブジェクトストレージサービスです。

Info
1:: 重要
2:: Amazon S3 のデータを Zoho DataPrep に接続する前に、Amazon S3 アカウントで次の権限を有効にしておく必要があります。
3:: 1. ListAllMyBuckets
4:: 2. GetBucketLocation
5:: 3. ListBucket
6:: 4. GetObject
7:: これらの権限の付与方法については、Amazon S3 のヘルプページを参照してください。

12:: Amazon S3 からデータをインポートするには

13:: 1.14:: 既存のパイプラインを開くか、15:: パイプラインを作成16:: します17:: 。18:: ホーム19:: ページ、20:: パイプライン21:: タブ、または 22:: ワークスペース23:: タブから、24:: データを追加25:: オプションをクリックします。
Info26:: 情報: パイプラインビルダー上部の 27:: データをインポート 28:: アイコンをクリックして、複数のソースからパイプラインにデータを取り込むこともできます。



29:: 2. 左側のペインで 30:: クラウドストレージ31:: カテゴリを選択し、32:: Amazon S333:: アイコンをクリックして、34:: Amazon S335:: からインポートします。必要なクラウドストレージサービスは、検索ボックスで検索することもできます。
 


Notes36:: メモ: 以前に 37:: Amazon S338:: 接続を追加済みの場合は、左側のペインで 39:: 保存済み接続40:: カテゴリをクリックして、そのままインポートを続行できます。保存済み接続の詳細については、41:: こちら42:: をクリックしてください。

43:: 3. 44:: 45:: Amazon S346:: アカウントを認証します。初めて接続する場合は、ファイルへアクセスできるよう DataPrep を認証する必要があります。

47:: 4.
48:: 接続名49:: 、50:: アクセスキー51:: 、52:: シークレットキー 53:: 項目に必要な情報を入力します。

54:: 5. 55:: Amazon S3 を認証 56:: ボタンをクリックして、認証情報を使用してアカウントを認証します。




Notes
57:: メモ: 接続設定は、今後 Amazon S3 のデータにアクセスするために保存されます。認証情報は安全に暗号化されて保存されます。

58:: 6. 59:: すでに接続を作成済みの場合は、既存の接続タイルが表示されます。接続タイルをクリックするだけで、データのインポートを開始できます。



Notes60:: 61:: 新規追加62:: リンクをクリックして、新しい Amazon S3 アカウントを追加します。必要に応じて、複数の Amazon S3 接続を作成できます。

63:: 7. 必要なバケットを選択し、インポートするファイルを選択します。64:: インポート 65:: ボタンをクリックします。66:: 詳細選択オプションを使用して、特定のパターンに一致するファイルのみをインポートすることもできます。 67:: こちらをクリック68:: して詳細を確認してください。




69:: 8. ファイルが HTML、XLS、または XLSX ファイルの場合は、70:: プレビュー 71:: オプションをクリックしてデータのサンプルを表示するか、ファイルがパスワード保護されている場合はパスワードを入力して、72:: インポート73:: をクリックします。



74:: 9. データのインポートが完了すると、 75:: パイプラインビルダー 76:: ページが開き、変換の適用を開始できます。ステージを右クリックして、77:: データを準備78:: オプションを選択し、 79:: DataPrep Studio ページでデータを準備することもできます。80:: こちらをクリック 81:: して、利用できる変換について詳しく確認してください。




82:: 10. データフローの作成と、各ステージで必要な変換の適用が完了したら、ステージを右クリックして83:: 出力先を追加84:: し、データフローを完了します。

Notes85:: メモ: パイプラインに出力先を追加した後は、86:: まず手動実行でパイプラインを実行してみることをおすすめします。手動実行で問題なく動作することを確認したら、87:: スケジュール88:: を設定してパイプラインを自動化できます。さまざまな実行タイプについては89:: こちら90:: を参照してください。

91:: 詳細選択

92:: 詳細選択を使用してファイルをインポートするには、次の操作を行います。

93:: 1.  94:: 詳細選択 95:: リンクをクリックします。



96:: 詳細選択では、正規表現(regex)に基づいて動的にファイルを選択できます。 97:: これにより、Amazon S3 バケットから新規データや増分データを取得することができます。前回の同期以降に追加または更新され、ファイルパターンに一致するファイルが S3 バケットから取得されます。インクリメンタルフェッチの詳細については98:: こちらをクリックしてください。

Info
99:: 重要: 詳細選択はインクリメンタルフェッチ専用ではありません。ファイルパターンに基づいて複数ファイルを一括インポートする場合にも、このオプションを使用できます。

 

100:: 2. 次の詳細を入力します。

  • 101:: バケット名 102:: : データをインポートする対象のバケット名を指定します。

  • 103:: フォルダパス 104:: : ファイルを検索するフォルダのパスを指定します。 105:: 例: 106:: 2023/
    107:: ファイルがフォルダを使用せずにバケット直下に保存されている場合は、この項目は空のままにできます。

    Alert
    108:: 「フォルダパス」はディレクトリパスを指定する項目であり、正規表現パターンはサポートしていません。

    Info109:: Info: 110:: フォルダパスは大文字と小文字が区別されます。

  • 111:: ファイルパターン 112:: : バケット内のファイル名を照合するためのパターンです。正規表現形式のマッチングをサポートしています。指定したパス内の任意のファイルに一致させるには、' .* ' というパターンを使用できます。

Info113:: Info: 114:: ファイルパターンは大文字と小文字が区別されます。
Notes
115:: メモ: ファイルパターンの照合はシンプルな正規表現形式のマッチングです。たとえば、Sales_2022.csv、Sales_2023.csv、Sales_2024.csv というファイル名のファイルを取得するには、パターンとして 116:: Sales_.* を入力します。

117:: 同様に、PublicData1.csv、PublicData2.csv、PublicData3.csv などのファイルを取得するには、118:: PublicData.* を使用します。

119:: 単一のファイルのみをインポートしたい場合は、そのファイル名を正確に指定したパターンを入力してください。
120:: 例: leads_jan_2022.*
  • 121:: サブフォルダを含める 122:: : ファイル検索時にサブフォルダも対象に含めたい場合は、 123:: サブフォルダを含める 124:: チェックボックスを選択します。

  • 125:: ファイルパスワード: 126:: ファイルがパスワード保護されている場合は、そのパスワードを入力します。
  • 127:: ファイルをマージしてインポート 128:: - 指定したパターンに一致するすべてのファイルをマージし、1 つのデータセットとしてインポートします。

    129:: このオプションを使用すると、インポート時にファイルをまとめてマージでき、インポート後にユニオン処理を行う必要がありません。
    Info130:: Info:131:: このオプションで一度にマージできるファイルは最大 5 件までです。
    Notes132:: メモ: このチェックボックスをオフにした場合は、1 回の実行で取得されるファイルは 1 件のみです。

    133:: 例: 134:: S3 アカウントに 10 件のファイルがある場合、最初の 5 件が 1 つのデータセットにマージされてインポートされます。次回の更新時に、残りの 5 件がマージされてインポートされます。

    135:: 同様に、S3 アカウントに 8 件のファイルがある場合は、最初の 5 件が先にマージ・取得され、その後に残りの 3 件が取得されます。 

  • 136:: ファイルの種類137:: : 138:: 必要なファイル形式を選択します。利用可能な形式は CSV、TSV、JSON、XLS、XLSX、XML、TXT です。
  • 139:: シートパターン140:: : このオプションは XLS および XLSX 形式でのみ利用できます。 141:: ファイル内のシート名と照合するためのパターンを指定します。正規表現形式での照合をサポートしています。ファイル内の任意のシートと照合するには、パターン「.*」を使用することもできます。

    Notes
    142:: シートパターンによる照合も、シンプルな正規表現ベースのマッチングです。たとえば、Sales_2022、Sales_2023、Sales_2024 などの名前のシートを取得するには、パターンとして「Sales_.*」を入力します。

    143:: 同様に、PublicData1、PublicData2、PublicData3 などのシートを取得するには、「PublicData.*」を使用します。

    144:: 単一のシートのみをインポートする場合は、そのシート名と完全に一致するパターンを指定してください。
    145:: 例: Leads_Jan_2022.*
  • 146:: 情報: シートパターンは大文字と小文字を区別します。

  • 147:: シートパスワード:148:: このオプションは XLS および XLSX 形式でのみ利用できます。シートがパスワード保護されている場合は、そのパスワードを入力します。
  • 149:: シートをマージしてインポート:150:: 指定したパターンに一致するすべてのシートをマージし、1 つのデータセットとしてインポートします。

151:: このオプションを使用すると、インポート時にシート同士をマージでき、インポート後に結合処理を行う必要がありません。

Notes152:: メモ: このチェックボックスをオフにした場合は、1 回につき 1 つのシートのみが取得されます。
153:: 3.  154:: インポート 155:: ボタンをクリックします。



Notes156:: メモ: 対応形式は CSV、TSV、JSON、XML、TXT、XLS、XLSX です。ZIP 形式のファイルをインポートすることもできます。

157:: ZIP ファイルの場合は、1 つのファイルのみがサポートされます。圧縮または ZIP 化された .zip ファイル内には、1 つのファイルのみが含まれていることを確認してください。

158:: ファイル解析

159:: ファイル解析160:: とは、インポート時にファイルを解釈して構造化し、データを処理用に正しく行と列に整理するプロセスです。

161:: 162:: ファイル解析163:: には、164:: 自動解析165:: と 166:: カスタム解析167:: の 2 つの設定があります。

  1. 168:: 自動解析169:: - ファイル構造(区切り文字、ヘッダー、エンコーディングなど)を自動的に検出し、それに応じてデータを整形します。
  2. 170:: カスタム解析171:: - ファイルの読み取り方法を手動で設定でき、区切り文字、ヘッダー、エンコーディングなどの設定を完全に制御できます。

172:: カスタム解析173:: では、次の設定を利用できます。

  • 174:: ファイルエンコーディング:175:: File Encoding オプションを使用して、UTF-8 などの176:: 文字エンコーディング方式177:: でファイルをエンコードできます。

  • 178:: テキスト修飾子:179:: シングルクォート (') やダブルクォート (') など、テキスト項目の開始と終了を示す文字を指定できます。

  • 180:: 区切り文字:181:: カンマ ( , )、セミコロン ( ; )、スペース、タブ、パイプ ( | ) などの区切り文字でデータを分割できます。独自の区切り文字を定義できる182:: カスタム区切り文字183:: オプションもあります。

  • 184:: 先頭行をスキップ:185:: ファイルの先頭から指定した行数の解析をスキップします。

  • 186:: コメント文字:187:: コメント行の先頭文字を指定します。コメント行はインポート時にスキップされます。

  • 188:: エスケープ文字:189:: 区切り文字や引用符を通常のテキストとして扱うために使用する文字を指定します。利用可能な設定には、ダブルクォート (')、バックスラッシュ (\)、パイプ (|)、キャレット (^)、チルダ (~) があります。

  • 190:: スペースを自動的にトリム:191:: データインポート時に、すべての列の前後の空白文字を削除します。

  • 192:: データにヘッダー行を含む:193:: 列ヘッダーとして使用する行番号を指定します。


194:: ファイル解析設定

195:: 以下の表では、クラウドストレージサービス向けのファイルインポート設定について説明します。



196:: 関連情報

197:: 新しいパイプラインを追加する方法198::

199:: クラウドデータベースからデータをインポートする方法

200:: 保存済みデータ接続からデータをインポートする方法

201:: パイプラインをスケジュールする方法        

202:: Zoho DataPrep で利用できるその他のクラウドストレージ設定 

203:: データを Amazon S3 にエクスポートする方法