FTPサーバーからデータをインポートする

FTPサーバーからデータをインポートする

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。




Zoho DataPrepでは、リモートのFTPサーバーやローカルネットワークからZoho Databridgeを利用してデータを取得できます。このコネクターにより、ETLワークフローを効率化し、スムーズなデータ移動を実現し、FTPサーバーとZoho DataPrep間のデータ統合を簡単に行えます。

FTP接続を使用してデータをインポートする方法

1. パイプラインを作成 または既存のパイプラインを ホーム ページ、 Pipelines タブまたは Workspaces タブから開き、 データを追加 オプションをクリックします。また、 データをインポート オプションを Workspaces タブ内でクリックしてデータをインポートすることも可能です。
情報: パイプラインビルダーの上部にあるデータをインポート アイコンをクリックすることで、複数のソースからパイプラインへデータを取り込むこともできます。



2. 選択する your data データ元セクションでFTPオプションを選択します。



3. 接続名を入力します。FTP接続を設定してサーバーに接続し、ファイルを取得します。ローカルネットワークからインポートするトグルを有効にすると、特定のデータをインポートできます。こちらをクリックして詳細をご覧ください。



4. FTPサーバーの種類を選択します。

5. FTPサーバーホストを入力します。IPアドレスまたはFQDN（完全修飾ドメイン名）も入力可能です。

6. 認証が必要な場合は、ユーザー名とパスワードを入力します。

メモ: 接続設定は今後のデータインポートのために保存されます。認証情報は安全に暗号化されて保存されます。

SFTP-SSH ファイル転送プロトコル

7. SFTP（SSH File Transfer Protocol）のFTPサーバー種類を選択した場合、ユーザー名 & パスワードまたはキー ファイルのいずれかでログインできます。



8. キーファイルでログインする場合は、キーファイルをアップロードしてください。




7. 接続ボタンをクリックし、以下の詳細情報を入力します。


フォルダパス: ファイルを検索するフォルダパスを指定します。例：/srv/ftp/filesfortest/

情報: フォルダパスは大文字と小文字が区別されます。

含めるサブフォルダー: ファイル検索時にサブフォルダーも含めたい場合は、このチェックボックスを選択できます。

ファイルパターン: 指定した場所でファイル名を照合するために使用するパターンです。正規表現によるマッチングもサポートしています。'.*'を使用すると、指定パス内のすべてのファイルにマッチします。

例えば、次のようなファイル名を取得したい場合 Sales_2022.csv , Sales_2023.csv , Sales_2024.csv、パターンとして Sales_.* を入力できます。

同様に、次のようなファイルを取得したい場合 PublicData1.csv , PublicData2.csv , PublicData3.csv、公開する.* を使用します。

単一ファイルをインポートする場合は、正確なファイル名でパターンを指定してください。
例：leads_jan_2022.*

情報: ファイルパターンは大文字と小文字が区別されます。

ファイルを次の形式で解析: ファイルを解析するには必須の拡張子を選択してください。ファイル形式が一般的に使用されているものと異なる場合、このオプションを利用して、データを読み取り可能な形式でインポートする前に、CSV、TSV、JSON、XML、TXTのいずれかの形式に変換できます。

ファイルを結合してインポート- 指定したパターンに一致するすべてのファイルを結合し、単一のデータセットとしてインポートします。

インポート時にこのオプションを利用することで、インポート後に手動で統合処理を行うことなくファイルをまとめて結合できます。

情報: このオプションでは、一度に最大5ファイルまで結合できます。
Notesメモ: このチェックボックスをオフにすると、一度に取得されるファイルは1つのみとなります。

例: FTPサーバー内のパスに10ファイルある場合、最初の5ファイルが1つのデータセットとして結合されてインポートされます。次回の更新時に、残りの5ファイルが結合されてインポートされます。

同様に、FTPサーバーに8ファイルある場合、最初の5ファイルが先に結合・取得され、その後残りの3ファイルが結合・取得されます。

8. 「インポートする」をクリックして、FTPサーバーからZoho DataPrepへデータをアップロードします。

9. すべてのファイルのインポートが正常に完了すると、Pipeline builderページに移動し、ETLパイプラインにtransformを適用できます。また、ステージを右クリックしてデータの準備オプションを選択し、DataPrep Studioページでデータを準備することも可能です。



10. データフローの作成と必要なtransformの適用が完了したら、ステージを右クリックして宛先を追加し、データフローを完成させることができます。

Notesメモ: ETLパイプラインに宛先を追加した後、まず手動実行でパイプラインを実行し、動作を確認できます。手動実行が正常に動作することを確認したら、スケジュールを設定してパイプラインやデータ移動の自動化が可能です。実行方法の種類についてはこちらをご参照ください。

ローカルネットワークからデータをインポートする

ローカルネットワークからデータをインポートトグルを使用すると、正規表現に基づいた動的なファイル選択が可能です。この機能は、FTPサーバーから新規または増分データを取得する場合に利用できます。増分取得は、前回の同期後にデータ元から新規ファイルをインポートする方法です。Zoho DataPrepでは、Zoho Databridgeを使ってローカルファイルから増分データのインポートが可能です。

重要: このオプションはインクリメンタル取得だけでなく、ファイルパターンに基づいた一括インポートにも使用できます。

1. FTPサーバーからローカルファイルをインクリメンタルにインポートしたい場合は、ローカルネットワークからのインポートトグルを有効にしてください。

 

情報: FTPからファイルをインポートするには、ご利用のマシンにZoho Databridgeがインストールされていることをご確認ください。こちらをクリックすると、Zoho Databridgeのダウンロードおよびインストール方法をご覧いただけます。

 

2. 有効なDatabridgeを選択してください。

 

3. サーバーに接続してファイルを取得するため、FTP接続を設定します。

 

4. FTPサーバー種類ドロップダウンから、以下のいずれかの設定を選択してください。

  • FTP - ファイル転送

  • FTPS - インプリシットTLS/SSLによるファイル転送

  • FTPS - エクスプリシットTLS/SSLによるファイル転送

  • SFTP - SSHファイル転送プロトコル

 

5. FTP サーバーホストを入力します。サーバーのIP住所またはFQDN（完全修飾ドメイン名）も入力可能です。

 

6. ユーザー名とパスワードを、認証が必須の場合は入力してください。


メモ: 接続設定は今後のデータインポートのために保存されます。認証情報は安全に暗号化され、保存されます。

SFTP-SSH ファイル転送プロトコル

7. SFTP（SSH ファイル転送プロトコル）サーバー種類を選択した場合、ユーザー名＆パスワードまたはキー ファイルのいずれかでログインできます。



8. キー ファイルオプションでログインする場合は、キー ファイルをアップロードしてください。

重要: このオプションは、古いバージョンのZoho Databridgeをご利用の場合は利用できません。キー ファイル ログイン種類でローカルネットワークからデータをインポートするには、最新バージョンのZoho Databridgeがインストールされていることを確認してください。こちらをクリックして、Zoho Databridgeのダウンロードおよびインストール方法をご確認ください。



 

9. 接続ボタンをクリックし、以下の詳細を入力してください。

フォルダーパス: ファイルを検索する場所のフォルダーパスを指定します。例：/srv/ftp/filesfortest/

情報: フォルダーパスは大文字と小文字が区別されます。

含めるサブフォルダー: ファイル検索時にサブフォルダーも含めたい場合は、このチェックボックスを選択できます。

ファイルパターン: 指定した場所でファイル名を照合するために使用するパターンです。正規表現タイプのマッチングに対応しています。パターン「.*」を使用すると、指定したパス内のすべてのファイルにマッチします。

例えば、Sales_2022.csv , Sales_2023.csv , Sales_2024.csvなどのファイルを取得したい場合は、以下のパターンを入力します：Sales_.* 

同様に、PublicData1.csv , PublicData2.csv , PublicData3.csvのようなファイルを取得するには、公開する.*

単一のファイルをインポートしたい場合は、正確なファイル名でパターンを指定してください。.
例：leads_jan_2022.*

情報: ファイルパターンは大文字と小文字が区別されます。

ファイルパスワード: ファイルがパスワード保護されている場合は、パスワードを入力してください。

ファイルの種類: 必須のファイル形式を選択します。利用可能な形式はCSV、TSV、JSON、XLS、XLSX、XML、TXTです。

ファイルをマージしてインポートする: 指定したパターンに一致するすべてのファイルをマージし、1つのデータセットとしてインポートします。

例えば、FTPサーバー内のパスに10個のファイルがある場合、最初の5つが1つのデータセットにマージされてインポートされます。次回の更新時に、残りの5つがマージされてインポートされます。

同様に、FTPサーバーのパスに8つのファイルがある場合、最初の5つが先にマージ・取得され、その後、残りの3つが処理されます。

シートパターン: このオプションはXLSおよびXLSX形式でのみ利用できます。ファイル内のシート名を照合するために使用するパターンです。正規表現形式のマッチングをサポートしています。任意のシートに照合したい場合は、パターン「.*」も利用できます。

シートパターン「照合する」は、シンプルな正規表現ベースの照合です。例えば、「Sales_2022」「Sales_2023」「Sales_2024」などの表計算シートを取得する場合、パターンとして「Sales_.*」を入力します。

同様に、「PublicData1」「PublicData2」「PublicData3」などの表計算シートを取得する場合は、「公開する.*」を使用します。

単一のシートをインポートする場合は、パターンとして正確なシート名を指定してください。
例：Leads_Jan_2022.*
Info
情報: シートパターンは大文字と小文字を区別します。
シートパスワード: このオプションはXLSおよびXLSX形式のみ利用可能です。シートがパスワード保護されている場合は、パスワードを入力してください。
表計算シートをマージしてインポートする: 指定したパターンに照合するすべてのファイルをマージし、1つのデータセットとしてインポートします。


Idea
このオプションを利用することで、インポート時に表計算シートをまとめてマージでき、インポート後にユニオンを実行する手間を省けます。
Notesメモ: このチェックボックスがオフの場合、1度に取得できるシートは1つのみです。

10. インポートするをクリックして、FTPサーバーからZoho DataPrepにデータをアップロードします。

FTP接続を編集するには

DataPrepは、データの外部連携情報を保存し、毎回認証情報を入力する手間を省きます。保存したデータ接続は、いつでも編集や新しいパラメーター・認証情報で更新できます。編集 connectionオプションを使用してください。

1. パイプラインでデータをインポートする際、Saved data 外部連携をデータ元を選択するセクションの左ペインからクリックします。



2. データインポート画面から直接、保存されたデータ外部連携の管理が可能です。省略記号（3点リーダー）アイコンをクリックすると、接続の共有、編集、概要の表示、削除が行えます。




3. 編集 connectionオプションをクリックして、保存済み接続を新しいパラメーターや認証情報で更新します。



パイプラインのスケジュール実行方法