予測モデルの理解
- 履歴データの投入
- モデルのトレーニング
- 今後の結果の決定
- 新しいデータで定期的にモデルを再トレーニングし、法人ニーズに最適なモデルを導き出す
予測モデルの前提条件
作成およびトレーニングしたカスタム予測モデルを利用して、法人のニーズに合わせた結果を予測できます。
必要なスキルは？
- 管理者またはスーパ管理者は予測モデルの作成および利用が可能ですが、開発者やユーザーは作成済みのモデルのみ利用できます。
- モデルのトレーニングに使用するデータセットを決定できるよう、法人の要件について十分に把握していることが推奨されます。
- 予測モデルのトレーニング用データを収集する際には、探索的データ分析（EDA）を実施することが標準的です。。
- Creatorは低いコードプラットフォームのため、作成や予測モデルの利用にあたり、ユーザーや管理者に事前のコーディングスキルは必要ありません。また、機械学習（ml）アルゴリズムの知識も不要で、Creatorにはml機能を備えたAIモデラーが搭載されています。
必要なデータは？
- トレーニングデータセットには50～100データが最低限必要ですが、最適な結果を得るには10000データ以上を推奨します。
どの料金プランが必要ですか？
- AIモデルは、Cの支払い済みプランのユーザーが利用可能です。詳細については、料金ページをご参照ください。
どのバージョンのCreatorを使用すべきですか？
- カスタムAIモデルを作成するには、Zoho Creator 6（C6）を使用する必要があります。一方、すぐに使用できるAIモデルは、C6およびC5の両方で利用可能です。
例
必要なスキルやデータの種類を把握したら、次のステージとして、トレーニングデータに入力する値を絞り込み、選択する方法を理解しましょう。
ここでは、Creatorを使ってZylker Insuranceというアプリケーションを構築したと仮定します。フォーム名はInsurance Claimで、顧客が保険金請求を送信します。顧客から提出された保険金請求が正当かどうかを判定したいと考えています。ご覧の通り、これはバイナリ予測アウトカムモデルの一例です。
次に、予測モデルで判定したい結果に影響を与える要素について考えてみましょう。例えば、「保険金請求は正当かどうか？」という問いに対して、次のような質問を検討します。
- 報告されたインシデントの重大度はどの程度ですか？
- どのくらいの期間（番号 of months/years）、信頼できる顧客であり続けていますか？
- 合計のクレーム金額はいくらですか？
- 不明な項目（列）があり、不確実性を引き起こす可能性はありますか？
上記の情報を活用して、データの選択を行うことができます。
- 乗用車のメーカーおよびモデル
- 製造年
- トランスミッションおよび移動
- 予測したい値を特定します。ここでは、顧客から提出された請求リクエストが正当かどうかを予測します。
- 予測に使用するデータを特定します。トレーニング／過去／前へデータセットには、以下の要素が含まれている必要があります：
- 信頼できる顧客としての月数
- インシデントの重大度
- 合計請求金額の見積もり
- 保険請求フォームにできるだけ多くのデータが含まれていることを確認してください。すべてのデータを使用することも、モデルのトレーニング用に特定のデータを使用する条件を定義することも可能です。例えば、特定の期間のデータでフィルターすることができます。
- まず、先に選択した base 項目と依存項目をフォーム内の該当する項目にマッピングします。prediction 項目(base 項目) がフォームに追加されます。
- 次に、アプリケーションにアクセスし、予測される値が prediction 項目に表示される基準となる値を入力します。
- CSVファイルでトレーニングデータを追加する場合、項目のマッピングが必須です。
- アプリケーションデータを使用してトレーニングデータを追加した場合、同じフォームのデータ（項目）を使って構築した予測モデルを同じフォームにデプロイする際は、項目のマッピングを行う必要はありません。この場合、項目は自動的にマッピングされます。
Prediction モデルの流れ
training Data を追加する
トレーニングデータは、モデルがパターンを見つけ、解釈を行い、予測を導き出すために使用中の初期データセットです。 モデルに取り込むデータが確定したら、データを追加する方法は2つあります。1つはアプリケーション内のform項目から、もう1つはCSVファイルから追加できます。予測モデルでは、トレーニングデータはbase項目と依存項目（1つ目の追加方法の場合）およびbase列とdependent columns（2つ目の方法の場合）で構成されます。
- モデルの結果は常に正確とは限りません。これは他のAIにも共通しています。
- モデルの結果は動的です。同じ入力でも、トレーニング中にモデルがどれだけ学習したかに応じて、異なる結果が出る場合があります。つまり、再トレーニングを継続的に行うことで、モデルも継続的に学習していきます。
どの方法でトレーニングデータを追加するか迷うことがあるかもしれません。アプリケーション内にトレーニングデータとして使用できる十分なデータがある場合は、フォームの項目からデータを追加する方法を選択できます。そのデータがトレーニングデータとして利用されます。一方、アプリケーション内に十分なデータがない場合でも、ファイルにデータが保存されていれば、CSVファイルからデータを追加する方法を選択できます。
メモ:
- アプリケーションから選択した項目は、トレーニング用のベース項目および依存項目として機能します。
- CSVから選択した列は、トレーニング用のベース列および依存列として機能します。
ここで最も重要なのは、履歴の結果列ではないデータや列が、結果に間接的に影響を受けていないかどうかを確認することです。
たとえば、順番が遅延するかどうかを予測したい場合、データ内に実際の納品日付が含まれていることがありますが、この日付は順番が納品済みになった後でしか利用できません。この列を含めると、モデルの精度はほぼ100パーセントになります。しかし、納品日付を予測したい注文には、まだ納品日付が入力されていません。正確な予測結果を得るためには、トレーニング前にこのような列の選択を解除してください。
フォーム項目からのデータ
アプリケーション項目に保存されているデータを、トレーニングデータとしてモデルに入力することができます。
項目選択
Predictionモデルは、ベース項目および依存項目として追加できる以下の項目タイプに対応しています。データに未対応の項目タイプが含まれている場合、項目選択ページには表示されません。
ベース項目と依存項目
アプリケーション項目をトレーニングデータとして選択する際、2種類の項目データが必要です。
- ベース項目は、予測したい結果の項目です。
- 依存項目は、Predictionモデルが予測処理に使用する項目です。
上記の例では、ベース項目は「Is this a Fraud Claim」であり、依存項目は「Months as 顧客」「Incident Severity」「合計 Claim 金額」項目となります。
データ選択
トレーニングデータ用のデータを選択した後、初期設定では、すべてのデータが考慮されます。場合によっては、特定のデータセットに絞って学習や予測を行いたいこともあります。条件を定義して特定のデータセットをフィルターし、予測モデルのトレーニングに使用できます。この条件は、必要に応じて設定可能です。使用するデータに不要な情報が含まれている場合、この手順でデータをフィルターできます。
例えば、保険会社がCreatorを使って保険金請求が不正かどうかを予測するアプリケーションを作成するとします。正確な予測を行うためには、申請フォーム内のすべてのデータでモデルを学習させることで、モデルの理解度を高めることができます。
また、保険会社が「2018年以前の日付の請求は処理できない」と定めている場合、この条件を設定すると2018年以降に申請された請求のみが不正請求の判定対象となります。このように条件を活用してデータを適切にフィルターできます。
CSVファイルからのデータ
トレーニングデータを選択するもう一つの方法は、ファイルに保存されているCSV形式のデータを使用することです。サポートされていない項目列がデータに含まれている場合、列選択ページには表示されません。
列の選択
予測モデルは、CSVからのトレーニングデータとして、以下のデータ型をサポートしています：番号、テキスト、日付、および日付-時間。これら2種類のデータは、基準列や従属列として追加できます。
下記の2つのデータ型に該当しない不要なデータを含む列は、CSV予測ではサポートされていません。サポートされていない項目列型がデータに含まれている場合、項目選択ページには表示されません。
Base列とDependent列
このCSVから選択する列は、トレーニング用のBase列およびDependent列として機能します。
- Base列は、予測したい結果の列です。
- Dependent列は、予測モデルが予測処理に使用する列です。
上記の例では、Base列は「Fraud Claim」となり、Dependent列には「Months as 顧客」「Incident Severity」「合計 Claim 金額」項目が該当します。
モデルガイドライン
- 予測結果を得るには、base 項目/列が必須です。
- 予測モデルには最大20依存項目/列を追加できます。
- 1つの予測モデルにつき、20 criteriaまで追加できます。
- 4MBがCSVファイルの最大ファイルサイズ制限です。
- モデルの学習には最小50データが必要です。より高い精度を目指す場合は、10000データ以上を追加してデータを充実させることができます。
Model 概要
トレーニングデータを追加した後、モデルの詳細（Model 名前、Base 項目/列、依存項目/Columnsなど）を確認できます。必要に応じて、Model 名前、Base 項目/列、依存項目/Columnsを戻って修正することも可能です。修正が不要な場合は、そのままモデルのトレーニングを続行できます。
モデルをトレーニング
予測モデルをアプリケーションで実際に利用する前に、期待される結果を出せるようトレーニングする必要があります。データ項目/列を選択・確認した後、Trainをクリックしてモデルのトレーニングを開始してください。
モデル詳細の表示と管理
モデルのトレーニングが完了すると、モデル詳細、モデルのバージョン、およびデプロイメント詳細（該当する場合）を表示できます。モデルは公開およびアプリへのデプロイが可能な状態になります。
- 再トレーニングオプションは、フォーム項目を通じてトレーニングデータを追加した場合のみ利用可能です。これは、新しいデータが継続的にアプリケーションへ追加される際に、随時モデルをトレーニングできるためです。
- CSVファイル経由でデータを追加する場合は、モデルを削除し、新しいファイルをアップロードしてから再度トレーニングを行うことができます。
モデルは以下の方法で管理できます。
- 再トレーニング- モデルの再トレーニングとは、デプロイ済みAIモデルを新しいデータで更新することを指します。新しいデータは常に作成されるため、定期的な再トレーニングを推奨します。これにより、予測モデルの信頼性や精度が向上します。
- 「Retrain」をクリックすると、モデルが再学習されます。
- 各再学習が完了するたびに、新しいバージョンのモデルが作成されます。必要に応じて異なるバージョンを切り替えることができます。
- 現在使用中のバージョンを削除したい場合は、削除を実行する前に別のバージョンへ切り替えてください。
- モデルの学習に失敗した場合は、直前まで動作していたモデルが予測に使用されます。
- 名前を変更する- 必要に応じてモデルの名前を変更できます。
- 削除- データの不整合や誤った追加が原因でモデルを削除したい場合は、「削除」オプションを使用できます。
テスト model
トレーニングの後、モデルをテストして、動作やトレーニング結果が満足いくものかどうか、アプリケーションに導入する前に確認できます。テストデータをアップロードし、モデルをテストした後、予測結果とともに 精度スコアが表示されます。
- 精度スコア（%）が高い（85～97）の場合は、そのままモデルを公開できます。
- 精度スコア（%）が良好（70～84）または普通（51～69）の場合は、新しい値で再度モデルをトレーニングしてください。
- 精度スコア（%）が低い（50未満）の場合は、データに不整合がないか確認し、修正したうえで再度モデルをトレーニングしてください。
精度スコア
予測モデルは、テストデータセットの予測結果に基づいて、トレーニング済みモデルの精度スコアを算出します。例えば、データセットが500件あり、そのうち492件を正しく予測した場合、精度スコアは96パーセントと表示されます。
- モデルの結果は常に正確とは限りません。これは他のAIにも共通して言えることです。結果をより正確に近づけるため、継続的にモデルのトレーニングを行っています。
- モデルの結果は動的です。同じ入力でも、機械学習の進捗によって異なる結果が出る場合があります。つまり、継続的にトレーニングが行われ、モデルが時間とともに学習していることを意味します。
予測モデルのパフォーマンスを向上させる
モデルの学習、テスト、評価を行った後、結果が期待通りでない場合は、モデルを編集してパフォーマンスを向上させることができます。モデルの精度スコアを改善するために試せる方法をいくつかご紹介します。
- モデルの学習が失敗した場合は、モデルの詳細を確認し、再度学習を実行してください。
- エラーがないにもかかわらず精度が低い場合は、モデル学習の詳細を確認してください。
- 可能な限り多くの問題に対応し、その後モデルを再学習してください。主な問題の原因としては、以下が考えられます。
- アプリケーションデータから学習データを追加する場合、該当する基準項目や依存項目がフォームに存在しないと、モデルの学習が失敗することがあります。この場合は、まずフォーム内にそれらの項目を作成し、その後モデルを学習させてください。
- モデルをトレーニングするには、最小で50～100データが必要です。より高い精度で予測できるモデルをトレーニングするには、10,000件以上の正しくラベル付けされたデータが必要です。
- 正しくラベル付けされたトレーニングデータが多くても、モデルのパフォーマンスが向上しない場合があります。これは、必須の予測に無関係な項目／列が選択済みであることが原因です。予測したい内容に影響する関連性の高い列のみを選択し、無関係な列は選択を解除してください。
- データには、予測される結果として想定される設定の範囲に一般的に対応するさまざまな可能性を含めることを推奨します。例えば、過去の結果が完了またはFailureの2種類あり、ほとんどのデータがこの列に完了のみの場合、モデルはこの種類の不均衡なデータ分布を参照するのが困難です。
- データに高い単価の欠損値が含まれていないことを確認してください。欠損値には初期設定データを入力するか、モデルのトレーニングからそのデータを削除することができます。
- 項目／列が予測結果と高い相関を持つ場合は、その列を削除し、モデルのトレーニングを続けてください。
データクリーニングとは、トレーニングデータセットから不正確、不適切な形式、複製、または情報が不十分なデータを削除するプロセスです。2つ以上のデータソースを組み合わせると、データの重複やラベル付けミスのリスクが高まります。予測結果が正確に見えても、データのミスがあると信頼性が損なわれる場合があります。
トレーニングデータを投入する前に、データをクリーンアップすることが非常に重要です。これによりモデルのパフォーマンスが向上します。各行のデータについて、誤字脱字や数字の抜け、スペルミス、その他のエラーがないか丁寧に確認することが、不適切なデータを取り除く最善の方法です。こうした作業によって、モデルのトレーニングに明らかに不適切なデータを排除できます。
モデルの公開と利用
モデルのトレーニングが完了したら、公開してユーザーが利用できるようにし、予測を開始できます。方法はこちら
Zoho CRM 管理者向けトレーニング
「導入したばかりで基本操作や設定に不安がある」、「短期間で集中的に運用開始できる状態にしたい」、「運用を開始しているが再度学び直したい」 といった課題を抱えられているユーザーさまに向けた少人数制のオンライントレーニングです。
日々の営業活動を効率的に管理し、導入効果を高めるための方法を学びましょう。
- Zoho Workerly Home
- Forums
- Connect With Us:
- Zoho Recruit Home
- Forums
- Connect With Us:
