Job Summary API レスポンス | Zoho DataPrep

Job Summary API レスポンス | Zoho DataPrep

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

Zoho DataPrepのジョブ概要APIでは、実行ステータス、タスク単位の監査、データセット、データソース、エクスポートの詳細など、パイプラインの実行に関する包括的な概要を確認できます。
このドキュメントでは、APIレスポンスの構造について、各項目の明確な説明とJSONの例を交えて詳しく説明します。パイプラインの実行フローの把握、問題のトラブルシューティング、データリネージの効率的な追跡に役立ちます。


上位レベルのスキーマ

  1. {
  2. 'pipelinerun': { ... },
  3. 'response_status': {
  4. 'status': 'success',
  5. 'status_code': 2000,
  6. 'messages': [
  7. {
  8. 'type': 'success',
  9. 'status_code': 2000
  10. }
  11. ]
  12. }

1. レスポンスステータス

項目

種類

意味

status

文字列

レスポンスの種類:'success'または'failure'

status_code

数値

2000=成功、4000以上=エラー

messages

配列

API呼び出しに関するメッセージのリスト

messages[0].type

文字列

メッセージの種類(例:'success'または'error')

messages[0].status_code

数値

2000=成功、4000以上=エラー




2. pipelinerun

これは中心となるオブジェクトで、パイプラインの実行全体を表します。


パイプライン実行オブジェクト内の共通の種類項目。

項目

種類

説明

id

文字列

パイプライン実行ID

execution_status

数値

パイプラインの実行ステータス
1 = 成功

2= 作成済み

0 = 実行中

-1 = 失敗

-2 = 停止

-3 = システムによる強制終了

type

数値

実行の種類:

0 = 手動での実行
1 = スケジュール
2 = 再読み込み
3 = バックフィル
4 = セクション別
5 = Webhook
6 = Zoho Flow
8 = 手動 - データソースのデータを更新する

created_time

ミリ秒単位のUnixタイムスタンプ

パイプラインの実行開始日時

modified_time

ミリ秒単位のUnixタイムスタンプ

パイプライン実行の更新日時(強制終了または停止)

completion_time

ミリ秒単位のUnixタイムスタンプ

パイプラインの実行完了日時
(終了日時)

data_interval_start_time,
data_interval_end_time

ミリ秒単位のUnixタイムスタンプ

データの範囲の開始日時と終了日時

再実行回数

数値

再実行した回数

profile_output

真偽値(trueまたはfalse)

出力内容のプロファイリング用の内部使用キー

skip_export_invalid_data

真偽値(trueまたはfalse)

データの品質が100%未満になった場合はエクスポートを停止する

この実行設定では、データセットに無効な値が含まれている場合にエクスポートを続けるかどうかを制御できます。

切り替えをオン(true)にした場合 - データの品質が100%未満になると、エクスポートが停止します。

切り替えをオフ(false)にした場合 - 無効なレコードが存在していても、データの品質にかかわらずエクスポートを続けます。

status

数値

パイプライン実行の有効ステータス
1=有効、
0=ごみ箱

storage_used

数値(バイト)

使用中の合計容量

row_count

数値

処理した行の合計数


1. Pipelineaudit


項目

種類

説明

id

文字列

パイプライン操作履歴の一意のIDです。

is_committed

文字列

この操作履歴が、パイプラインの公開済みバージョンに対応しているかどうかを示します。

0-下書き(未公開)
1-公開済み

pipeline.id

文字列

パイプラインの一意のIDです。

status

数値

パイプライン操作履歴の有効ステータス
0-無効
1-有効


2. Pipelinerunconfigaudit

設定の操作履歴には、パイプラインの実行に使用された設定が表示されます。
実行の種類(例:予約実行、Webhook実行)や実行設定(例:データの品質が100%未満の場合はエクスポートを停止する)などの詳細が保持されます。




項目

種類

説明

id

文字列

パイプライン実行設定の操作履歴を識別する一意のIDです。

status

数値

設定の操作履歴のステータス
1 = 有効、
0 = ごみ箱

skip_export_invalid_data

真偽値(trueまたはfalse)

データの品質が100%未満の場合にエクスポートを停止します

この実行設定では、データセットに無効な値が含まれている場合に、エクスポートを続けるかどうかを自分で制御できます。

切り替えをオン(true)にした場合:データの品質が100%未満になると、エクスポートが停止します。

切り替えをオフ(false)にした場合:無効なレコードが存在していても、データの品質にかかわらずエクスポートを続けます。

type

数値

パイプラインの実行の種類
0 = 手動での実行
1 = 予約
2 = 再読み込み
3 = バックフィル
4 = セクション
5 = Webhook
6 = Zoho Flow
8 = 手動 - データソースからデータを更新する

pipeline

オブジェクト

この設定の操作履歴に関連付けられている親パイプラインです。

pipeline.id

文字列

パイプラインを識別する一意のIDです。

pipelinefile

オブジェクト

処理の概要の[出力内容]タブからダウンロードしたファイル。

pipelinefile.id

文字列

関連付けられたパイプラインファイルを重複なく識別するID。


3. 作成者

パイプラインの実行を作成したユーザーに関する詳細。



項目

種類

説明

id

文字列

実行を作成したユーザーの一意のID。

zuid

文字列

作成者のZohoユーザーID。

username

文字列

ユーザーの表示名。

email_id

文字列

作成者のメールアドレス。

invited_time

文字列

ユーザーが招待された日時のエポックタイムスタンプ。

profile

オブジェクト

作成者のプロフィールの詳細。

profile.id

文字列

ユーザープロフィールの一意のID。

status

数値

ユーザーのステータス
1 - 有効、
0 - 無効。

zsoid

文字列

ユーザーに関連付けられているZoho組織ID。

profilelink

文字列

ユーザーのZohoプロフィールのURL。


4. 更新者

パイプライン実行を最後に更新したユーザーの詳細。




項目

種類

説明

id

文字列

実行を更新したユーザーの一意のID。

zuid

文字列

実行を更新したユーザーのZohoユーザーID。

username

文字列

実行を更新したユーザーの表示名。

email_id

文字列

実行を更新したユーザーのメールアドレス。

invited_by

文字列/空の値(null)

該当する場合、招待者のユーザーID。例:空の値(null)(招待者がいない場合)。

invited_time

文字列

実行を更新したユーザーが招待された日時のエポックタイムスタンプ。

profile

オブジェクト

実行を更新したユーザーのプロフィール情報。

profile.id

文字列

プロフィールの一意のID。

profile.name

文字列

実行を更新したユーザーの役割。例:'Org Admin'

profile.is_default

真偽値

ユーザーの標準プロファイルであるかどうかを示します。
trueの場合は標準、
falseの場合は標準ではありません。

profile.zuid

文字列/空の値(null)

このプロファイルに関連付けられているZohoユーザーIDです。例:null。

profile.permission

文字列

プロファイルの権限コードです。例:'7FFFFFFF'

status

数値

ユーザーのステータスです。
1-有効、
0-無効。

zsoid

文字列

ユーザーのZoho組織IDです。

profilelink

文字列

ユーザーのZohoプロファイルのURLです。

has_more_rows

真偽値の配列

ページ分割用の内部フラグです。
true-取得可能なレコードがさらにあります。
false-なし。


5. Pipelinetaskinstancemappers

pipelinetaskinstancemappers内のJSONは、タスクインスタンスの子と親の対応関係を示します。

キー=子タスクインスタンスID

値(配列)=親タスクインスタンスID


項目

種類

説明

<task_instance_id>

オブジェクト

各キーは、パイプライン内の子タスクインスタンスIDを表します。

'14057000007569523': ['14057000007569519']
子タスク69523は親タスク69519に依存します。

値(配列)

配列

子タスクが依存する親タスクインスタンスIDのリストです。
空の場合=親タスクなし

'14057000007569515' - [ ]
タスク69515はルートタスクです(親タスクなし)。




6. Pipelinetaskinstances

各オブジェクトは、パイプライン内のステージ(インポート、加工、エクスポートなど)を表します。





項目

種類

説明

id

文字列

パイプラインステージインスタンスの一意のIDです。

pipelinerun

オブジェクト

pipelinerunタスクの構造は、メインオブジェクト内のpipelinerunと同じです。

pipelinetask

オブジェクト

このインスタンスの基となるステージ定義です。(次で説明)

execution_status

数値

各ステージの実行ステータスです。
1=成功
0=実行中
-1=失敗

index

数値

内部メモ。

created_time

文字列

ステージのインスタンスが作成された日時。

start_time

文字列

実行が開始された日時。

completion_time

文字列

実行が完了した日時。

client_meta

JSON文字列

パイプラインの作成画面におけるUIの配置情報。
例:{'top':235,'left':80,'version':1}。

message

文字列/Null

システムメッセージまたはログメッセージ。

operator_id

文字列

このステージの実行に使用されたオペレーター。
例:'com.zoho.dataprep.operator.ZSOrchParseRawDataOperator'。

retry_count

数値

再試行した回数。例:0。

storage_used

文字列

使用した容量(バイト)。例:'172'。

row_count

文字列

処理された行数。例:'3'。

status

数値

有効ステータス
1 = 有効、
0 = ごみ箱

time_to_live

文字列

このインスタンスの有効期限。

rawdatasetaudit

オブジェクト

このステージで使用されるデータセットの操作履歴情報。


パイプラインタスク

パイプライン内の特定のステージを表します。各タスクでは、パイプラインの実行時に行われる特定の操作や加工処理を定義します。

項目

種類

説明

id

文字列

パイプラインステージの一意のID。

name

文字列

ステージの名前(通常はデータセットまたはステージに対応)。例:'public.contactnew'。

type

数値

ステージの種類を示す識別子。
5 - 抽出(インポート)
7 - 生データの解析
10 - 加工
15 - ステージの抽出
20 - ロード(エクスポート)

pipeline

オブジェクト

このステージが属するパイプライン。

created_by

オブジェクト

構造はcreated_by(pipelinerun内)と同じです。

created_time

ミリ秒単位のUnixタイムスタンプ

パイプライン実行の開始日時。

modified_by

オブジェクト

構造はmodified_by(pipelinerun内)と同じです。

modified_time

ミリ秒単位のUnixタイムスタンプ

パイプライン実行の更新日時(強制終了または停止)

status

数値

ステージが有効かどうかを示します。例:1。

latest_only

真偽値

最新の実行のみを対象とするかどうかを示します。例:false。

depends_on_past

真偽値

trueの場合、前のインスタンスが成功したときにのみ、このステージが実行されます。例:false。

trigger_rule

文字列

実行ルール。例:'ALL_SUCCESS'。

client_meta

JSON文字列/Null

パイプラインの作成画面でのUI配置情報。
例:{'top':235,'left':80,'version':1}。

weight

数値

スケジュール設定に使用する優先度の重み。例:1。




a. 生データセットの操作履歴

インポートしたデータセットの詳細が含まれています。

項目

種類

説明

id

文字列

データセットの操作履歴に使用される一意のID。

audit_time

文字列(タイムスタンプ)

データセットのインポートの操作履歴が記録された時間。

is_referred

真偽値

このデータセットが前回のインポートから再利用されたかどうかを示します。

datasourceaudit

オブジェクト

元データのデータソース操作履歴ID。

rawdatasetconfigaudit

オブジェクト

データセット設定の操作履歴ID。

rawdataset

オブジェクト

操作履歴の対象となるデータセットの詳細(以下で説明します)。

status

数値

操作履歴のステータス。

error_message

文字列/空の値(null)

ステータスのエラーメッセージ



i)生データセット

項目

種類

説明

id

文字列

データセットの重複しないID。

name

文字列

データセット名。例:'public.contactnew'。

replication_frequency

文字列/Null

複製の頻度。例:空の値(null)。

created_by

オブジェクト

pipelinerun内のcreated_byと同じ構造です。

created_time

ミリ秒単位のUnixタイムスタンプ

データセットがインポートされた日時

modtime

文字列/Null

最終更新日時。例:空の値(null)。

status

数値

データセットのステータス。例:1。

pipelinedatasource

オブジェクト

このデータセットに関連付けられているデータソース。以下で説明します)。


ii)パイプラインのデータソース

パイプラインのデータセットの取得元となる接続を表します。

項目

種類

説明

id

文字列

データソースを一意に識別するID。

name

文字列

データソースの名前または識別子。

replication_type

文字列

使用されるレプリケーション方式。

status

数値

データソースのステータス。
1 = 有効、
0 = ごみ箱

project

オブジェクト

このデータソースを所有するワークスペースID。

connection

オブジェクト


b. データセットの操作履歴

ここには、エクスポート前に処理されたデータセットの詳細が含まれます。

項目

種類

説明

id

文字列

このデータセットの操作履歴を一意に識別するID。

created_time

文字列(タイムスタンプ)

データセットの操作履歴が作成された日時。

created_by

オブジェクト

操作履歴の記録を実行したユーザー(pipelinerun.created_byで説明したものと同じ構造)。

audit_time

文字列(タイムスタンプ)

データセットの監査を開始した日時。

completion_time

文字列(タイムスタンプ)

データセットの監査が完了した日時。

execution_status

数値

監査の実行ステータス。
1 = 成功
0 = 実行中
-1 = 失敗

description

文字列/null

任意の説明。

dataset

オブジェクト

この監査に関連付けられているデータセット。(以下で説明

exportcatalogaudit

オブジェクト/空の値(null)

ターゲットの照合

rulesetaudit

オブジェクト

適用済みのルールセットに関する情報。(以下で説明

modtime

文字列(タイムスタンプ)

この監査の最終更新日時。

status

数値

監査の現在のステータス。
1 = 有効、
0 = ごみ箱

type

数値

内部メモ

error_message

文字列/空の値(null)

監査に失敗した場合はエラー詳細が表示され、それ以外の場合は空の値(null)になります。

datasetstate

オブジェクト

監査後のデータセットの現在の状態です。(以下で説明

rules_count

数値

このデータセットの監査で適用されたルールの数です。


i)データセット

項目

種類

説明

id

文字列

一意のデータセットIDです。

name

文字列

データセットの名前です。例:'contact'。

description

文字列/空の値(null)

データセットの省略可能な説明です。

status

数値

データセットのステータスです。
1 = 有効、
0 = ごみ箱

is_ready

真偽値(true/false)

データセットが使用可能な状態かどうかを示します。

is_pii_marked

真偽値
(true/false)

データセットに個人情報が含まれていることを示すフラグが設定されているかどうかを示します。

project

オブジェクト

このデータセットが属するワークスペースIDです

selected_sample

オブジェクト

クイックプレビュー用に選択されたサンプルIDです


ii)ルールセット監査

項目

種類

説明

id

文字列

このルールセットの監査を識別する一意のID。

audit_time

文字列(タイムスタンプ)

ルールセットの監査が実行された日時。

is_committed

文字列

ルールセットがコミット済みかどうか。
1=コミット済み

ruleset

オブジェクト

適用済みルールセットのID

status

数値

ルールセットの監査のステータス。

rules_count

数値

この監査で適用されたルールの合計数。


iii)データセットの状態

有効なデータ、無効なデータ、欠損データの詳細

項目

種類

説明

id

文字列

このデータセット状態の一意のIDです。

datasetaudit

オブジェクト

データセットの操作履歴IDを参照します。

execution_status

数値

実行結果です。
1 = 成功
0 = 実行中
-1 = 失敗

is_error

真偽値

その状態にエラーが含まれているかどうかを示します。

error_message

文字列/null

エラーの詳細(is_error = trueの場合)。


c. データセットのエクスポート操作履歴

この項目には、データセットがエクスポート先にエクスポートされた際の詳細が含まれます。

項目

種類

説明

id

文字列

エクスポート操作履歴の一意のIDです。

dsauditstatefile

オブジェクト

このエクスポートで使用されたデータセット状態ファイルIDを参照します。

datasinkaudit

オブジェクト

データシンクの操作履歴レコードIDを参照します。

datasetexport

オブジェクト

エクスポート設定と対象のデータセットを参照します(以下で説明します)。

datasetexportconfigaudit

オブジェクト

エクスポート設定IDの操作履歴データ

created_time

文字列(タイムスタンプ)

このエクスポート操作履歴が作成された日時。

error_message

文字列/空の値(null)

エクスポートできなかった場合のエラーの詳細。

info

文字列(JSON)

エクスポートの実行に関する追加情報。例:{'currentRetry':0}。

execution_status

数値

実行ステータス

1 = 成功
0 = 実行中
-1 = 失敗

progress

数値

進捗状況を示すパーセント(%)。例:100。

status

数値

操作履歴データのステータス。

type

数値

内部メモ

datasetexportauditmetric

オブジェクト

このエクスポートについて記録された出力内容の指標(以下で説明)。


i)データセットのエクスポート

項目

種類

説明

id

文字列

データセットのエクスポートに割り当てられた一意のID。

dataset

オブジェクト

エクスポート対象のデータセット(定義済みのデータセットを使用)。

datasink

オブジェクト

データセットのエクスポート先。
以下で説明

created_by

オブジェクト

エクスポートを作成したユーザー(スタンダードなユーザー構造)。

created_time

文字列(タイムスタンプ)

エクスポートの作成日時。

modified_by

オブジェクト/空の値(null)

エクスポートを最後に更新したユーザー。

modtime

文字列/空の値(null)

最終更新日時。

status

数値

エクスポートのステータス。

datasetexportaudit

オブジェクト

このエクスポートにネストされた操作履歴 -> { id, dsauditstatefile, datasinkaudit, datasetexport, datasetexportconfigaudit, created_byなど }(基本的には自己参照)。


ii)データシンク

データのエクスポート先となる接続先を指します。

項目

種類

説明

id

文字列

データシンクの一意のIDです。

status

数値

データシンクのステータスです。例:1 = 有効。

project

オブジェクト

このデータシンクが属するワークスペースIDです。

connection

オブジェクト

エクスポートに使用する接続の詳細です(以下を参照)。


iii)接続(データシンク内)

項目

種類

説明

id

文字列

接続の識別子です。

name

文字列

接続の表示名です。
例: 'teststream@gmail.com - box'

connection_json

文字列(JSON)

接続固有の情報です。
例:{'servicename':'box','accountId':'…',
'display_email':'…','display_name':'…','is_authorised':false}。

type

文字列

接続の種類を示すコードです。
0 - クラウドストレージ
1 - ローカルファイル
2 - URL
3 - ローカルデータベース
4 - FTP
5 - クラウドデータベース
10 - Zoho CRM
11 - Zoho Analytics
15 - Amazon S3
19 - ローカルFTP
20 - データブリッジのローカルファイル
21 - Zoho Creator
22 - Zoho Directory

created_by

オブジェクト

データ連携を作成したユーザー
created_by について、pipelinerunで説明したものと同じ構造です)。

owner

オブジェクト

データ連携の所有者
created_byで説明したものと同じ構造です)。

created_time

文字列(タイムスタンプ)

データ連携が作成された日時。

modified_by

オブジェクト

データ連携を最後に更新したユーザー
こちらで説明したものと同じ構造です)。

modtime

文字列(タイムスタンプ)

最終更新日時。

status

数値

データ連携のステータス。例:1=有効。

category

文字列/空の値(null)

データ連携のカテゴリー。

base_type

文字列

基本サービスの種類。例:'box'。

sub_type

文字列/空の値(null)

該当する場合は、データ連携のサブタイプ。


iv)データセットのエクスポート操作履歴メトリック

出力内容に関するすべてのメタデータは、こちらで確認できます。

項目

種類

説明

id

文字列

このメトリックデータのIDです。

row_count

文字列(数値を文字列として表現)

エクスポートされた行数です。

col_count

文字列(数値を文字列として表現)

エクスポートされた列数です。

size

文字列(数値を文字列として表現)

バイト単位のデータサイズです。

status

数値

メトリックデータのステータスです。

datasetexportaudit

オブジェクト

エクスポート操作履歴へのリンクです -> { idなど }。

quality

文字列(JSON)

データセットの品質です。例:{'valid':57,'invalid':0,'missing':151}。


d. データ元の操作履歴

インポートされたデータセットの元データに関する詳細が含まれます。

項目

種類

説明

id

文字列

このデータ元の操作履歴に割り当てられた一意のIDです。

execution_status

数値

データ元の操作履歴の実行状態です。

1 = 成功
0 = 実行中
-1 = 失敗

streams_info

文字列(JSON)

インポートに関する注記
例:{'14057000007554785':{'size':0,'catalog_stream_id':'14057000007554785','execution_status':'SUCCESS','progress':100}}。

killed_batch_catalog_ids

文字列/空の値(null)

実行中に終了されたバッチカタログのID。

completed_time

文字列(タイムスタンプ)

操作履歴の完了時間。

status

数値

操作履歴のステータス。例:1=有効。

type

数値

操作履歴の種類。例:1=データソース。

pipelinedatasource

オブジェクト

使用したデータソースへの参照。以下の情報が含まれます:id、name、replication_type、created_by、project、connection接続項目とユーザー項目で説明したものと同じ構造です)。

error_message

文字列/空の値(null)

実行に失敗した場合のエラーの詳細。

logs

配列

内部メモ



7. パイプライン実行の操作履歴




パイプライン実行の操作履歴には、設定、ステータス、使用状況、パイプライン、ワークスペース、処理されたデータ量、実行ステータスなど、パイプライン実行の詳細が表示されます。


項目

種類

説明

id

文字列

パイプライン実行の操作履歴の一意のID。

created_time

文字列(タイムスタンプ)

実行の操作履歴が作成された時間。

modtime

文字列(タイムスタンプ)

実行の操作履歴の最終更新日時。

pipelinerun

オブジェクト

パイプライン実行の詳細が含まれます。構造は、pipelinerunで説明されているものと同じです。

status

数値

パイプライン実行の有効ステータス
1=有効/Completed,
0=無効

execution_policy

数値

実行ポリシーの内部値

execution_status

数値

パイプライン実行のステータス
1=成功
0=実行中
-1=失敗

created_by

オブジェクト

実行の操作履歴を作成したユーザー。構造はcreated_byと同じです。

modified_by

オブジェクト

実行の操作履歴を最後に更新したユーザー。構造はmodified_byと同じです。

completion_time

文字列(タイムスタンプ)

実行の操作履歴が完了した時間。

storage_used

バイト

この実行で消費された容量。

row_count

文字列

この実行で処理した行数を示す数値です。

pipeline

オブジェクト

パイプラインの詳細(ID、名前、プロジェクト、ステータス)です。構造は次のパイプラインと同じです。


8. パイプライン





実行時に実行されたパイプラインを表します。

項目

種類

説明

id

文字列

パイプラインの一意のIDです。

name

文字列

パイプラインの名前です。例:'My pipeline-1'

description

文字列/空の値(null)

パイプラインの説明です。例:説明が指定されていない場合は空の値(null)です。

created_by

オブジェクト

パイプラインを作成したユーザーの詳細です(pipelinerun内のcreated_byと同じ構造です)。

created_time

文字列

パイプラインが作成された時点のエポックタイムスタンプです。

modified_by

オブジェクト

パイプラインを最後に更新したユーザーの詳細です(pipelinerun内のmodified_byと同じ構造です)。

modtime

文字列

パイプラインの最終更新日時を示すエポックタイムスタンプ。

status

数値

パイプラインのステータス
1 = 有効、
0 = ごみ箱

is_ready

真偽値

パイプラインを実行する準備ができているかどうか。
true - 準備完了、false - 準備未完了。

depends_on_past

真偽値

パイプラインの実行が過去の実行に依存するかどうか
true - 依存する、false - 依存しない。

project

オブジェクト

このパイプラインが属するワークスペース。



プロジェクト

パイプラインを含むワークスペースを表します。

項目

種類

説明

id

文字列

ワークスペースの一意のID。

name

文字列

ワークスペースの名前。例:'RestAPI test'

description

文字列/空の値(null)

未使用

created_by

オブジェクト

ワークスペースを作成したユーザーの詳細。

created_time

文字列

ワークスペースが作成された時点のエポックタイムスタンプ。

modified_by

オブジェクト

ワークスペースを最後に更新したユーザーの詳細。

modtime

文字列

ワークスペースの最終更新時点のエポックタイムスタンプ。

status

数値

ワークスペースのステータス
1-有効、0-無効。

migration_status

数値

ワークスペースの移行状況。

0-DataPrep 1.0で作成済み
1-1.0から2.0に移行済み
3-DataPrep 2.0で作成済み

is_locked

真偽値

現在は使用されていません。