Zia画像検証のICR（インテリジェント文字認識）機能

Zia画像検証のICR（インテリジェント文字認識）機能

物理データのデジタルプロセスへの取り込み 
関連情報
ICR（Intelligent Character Recognition、インテリジェント文字認識）とは、AIを通じて画像や印刷物に記載されている文字を抽出し、デジタルデータに変換する機能です。

Zoho CRMでは、Zia画像検証の一部としてICR（インテリジェント文字認識）機能が用意されています。
このページでは、Zia画像検証のICR機能について、以下を説明します。

ICR（インテリジェント文字認識）機能のメリット 

日々の業務において、印刷物などの物理媒体を見ながらシステムにデータを登録することは少なくありません。名刺、申し込み用紙、本人確認書類、請求書、商品ラベル、配送伝票などがその例です。担当者の実際の仕事は、データをシステムに取り込んだ後に始まります。しかし、その前の段階で印刷物の中から必要なデータを見つけ出してシステムに登録するだけでも時間と労力がかかります。
  1. 営業担当者の例を見てみましょう。展示会などの会場で見込み客と知り合い、名刺を交換したとします。担当者は、オフィスに戻って見込み客のデータを作成するにあたって、名前、電話番号、Webサイトなど、名刺に記載されているデータをシステムに入力する必要があります。
  2. また、在庫管理業務の例を見てみましょう。商品の在庫を管理するにあたって、管理者は商品名やロット番号など、商品に関するデータを商品のパッケージに貼り付けてあるラベルから読み取り、システムに登録する必要があります。
上記の両方の例において、見込み客のフォローや在庫管理などの業務を開始するには、はじめにシステムにデータを登録する必要があります。しかし、データを取り込むのが煩雑なため、実作業を開始するまでに時間がかかってしまいます。

このような場合に、Zia画像検証のICR（インテリジェント文字認識）機能が役立ちます。ICR機能を使用することで、印刷物からデータを抽出し、Zoho CRMに登録することができます。データの作成業務を効率よく行い、生産性を高めることが可能です。   

ICRによるデータ抽出方法の種類 

社員証など形式が指定されている印刷物から社員番号を読み取るのと、名刺などの形式が指定されていない印刷物から特定のデータを読み取るのとでは、それぞれ方法が異なります。Zia画像検証のICR（インテリジェント文字認識）機能には、、以下の2種類のデータ抽出方法が用意されています。
  1. テンプレート基準
  2. ゼロショットプロンプト

テンプレート基準によるデータの抽出 

テンプレート基準によるデータの抽出では、何点かのサンプル画像を用意してZiaの学習を行います。
  1. データのサンプル画像をアップロードする必要があります。Ziaがデータを識別できるように、画像内のデータの配置は同じである必要があります。
  2. アップロードした画像の値の位置を指定し、Zoho CRMの対象のレイアウト／タブの項目に関連付ける必要があります。

これにより、画像から値を抽出する場所をZiaが学習し、選択したレイアウト／タブの項目に値を出力できるようになります。

テンプレート基準によるデータの抽出が役立つ例は、以下のとおりです。

保険の申し込み

自動車保険を取り扱う会社があるとします。この会社では、顧客から保険の申し込みを受け付けた後、運転免許証や車検証などの必要書類に記載されているデータを抽出してZoho CRMに登録し、顧客のデータを管理します。ICR機能を使用することで、書類からのデータ抽出と登録をすばやく簡単に行うことができます。

サービス登録者の背景調査

専門家によるオンライン教育のマッチングプラットフォームを提供する会社があるとします。この会社のプラットフォームに登録するために、専門家はWebサイトの専用フォームから名前やメールアドレスなどの基本情報を提出する必要があります。しかし、これらの情報だけでは、プラットフォーム側は専門家のスキルや資格を確認できません。身分証明書や資格証明書などの本人確認書類をアップロードさせ、ICR機能により各種データを抽出することで、専門性に関するデータを補完できます。

以下の画像は、画像からデータを抽出してZoho CRMに登録する例です。

テンプレート基準によるデータ抽出のためのZiaのトレーニング

Zia画像検証のICR（インテリジェント文字認識）機能を活用してテンプレート基準によるデータの抽出を行うには、事前にサンプル画像をもとにZiaのトレーニングを行う必要があります。

Ziaのトレーニングを行うには
  1. ［設定］→［Zia］→［画像検証］→［ICR（インテリジェント文字認識）］の順に移動します。
  2. ICRのページで、［新しいルールを作成する］をクリックします。
  3. 新しいルールの作成画面で、以下の手順を実行します。
    1. ルール名を入力します。
    2. 対象のタブとレイアウトを選択します。
    3. 抽出の種類の選択欄で、［テンプレート基準］を選択します。データの抽出にあたって、サンプル画像をもとにZiaのトレーニングを行う必要があります。
    4. ［入力画像の保存先の項目］の欄で、データの抽出に使用する画像の保存先となる項目を選択します。
  4.  ［次へ］をクリックします。画像のアップロードのページが表示されます。
  5. 画像のアップロードのページで、［画像をアップロードする］をクリックします。
  6. 抽出する画像のアップロード画面で画像ファイルをドラッグ＆ドロップするか、画像ファイルを参照します。
    1. 参照する場合は参照ボタンをクリックし、デバイスからファイルを選択します。完了後、［抽出する］をクリックします。
  7. Ziaのトレーニング画面が表示されます。Ziaによって文字が識別され、バウンディングボックス（Bounding Box）と呼ばれる手法により、有効なすべての文字の範囲が枠として認識されます。
    1. 画像内のすべての単語がZiaによって識別されます。項目名と項目の値も対象です。
      1. Ziaによって識別された範囲が正確な場合、対象の枠をクリックし、レイアウトの項目名と関連付けます。
      2. 正確でない場合、枠の余白部分をドラッグ＆ドロップして文字を覆うようにして、項目と関連付けます。
    2. 文字と項目の関連付けが完了した後、トレーニングの開始ボタンをクリックします。
    3. ［保存する］をクリックし、ルールを保存します。
Ziaのトレーニング完了後、データを抽出して対象のレイアウト／タブにデータを出力できるようになります。

テンプレート基準によるデータの抽出の精度

画像の文字からデジタルデータへの変換精度は、モデルのトレーニングと利用状況に基づきます。トレーニング用に事前アップロードした画像に加えて、データの作成用にアップロードした画像でもZiaのトレーニングは行われます。
 
精度を高めるには、以下の点に留意してください。
  1. Zia画像検証でICRのルールを作成している
  2. アップロードする画像のレイアウトが、トレーニング用にアップロードした画像と同じレイアウトである
  3. 画像の向きがカード形式である
Ziaによる画像のタグ付けとデータ抽出に関するガイドラインは、以下のとおりです。
上記の要件とICRのガイドラインを満たしている場合、画像の文字からデジタルデータへの変換精度が高まります。
 

ゼロショットプロンプト 

ゼロショットプロンプトとは、Ziaのトレーニングを必要としない高度なデータの抽出方法です。画像内からデータを抽出する箇所（項目）を、Ziaに対して指示します。これにより、Ziaによって画像とテキストのデータが総合的に識別され、データの抽出が行われます。

ゼロショットプロンプトの仕組み 

テンプレート基準によるデータの抽出では、画像をアップロードしてZiaのトレーニングを行い、Zoho CRMの項目に関連付ける必要がありました。これに対して、ゼロショットプロンプトによるデータ抽出では、VLM（視覚言語モデル）を通じてデータの抽出が行われます。
 
以下では、VLM（視覚言語モデル）の概要について説明します。

VLM（視覚言語モデル）

VLM（Vision-Language Model、視覚言語モデル）とは、視覚情報と言語情報の両方を処理できる生成AIモデルです。Ziaでは、このモデルを通じて画像から値を抽出することができます。

VLM（視覚言語モデル）の構成

VLM（視覚言語モデル）は、以下の2種類の要素で構成されています。
  1. 視覚エンコーダー：画像データを処理しやすい数値に変換する技術です。
  2. LLM（大規模言語モデル）：テキストデータをもとに学習を行い、テキストを生成するAIモデルです。
これらの要素を組み合わせて利用することで、画像データからテキストデータを抽出できるようになります。
 
視覚エンコーダーでは、画像データが処理しやすい値に変換されます。これに対して、LLM（大規模言語モデル）では、テキストの指示文が処理しやすい値に変換されます。変換されたこれらの値に対して総合的な分析、処理を行うことで、画像データからテキストデータの抽出が行われます。その後、LLMを通じてテキストデータの生成が行われ、指定した指示文に沿ってデータの出力が行われます。

ゼロショットプロンプトの場合は、Zoho CRMのどの項目用に値を抽出するのかをZiaに指示します。

Ziaは、対象のタブに画像がアップロードされると、指示されたZoho CRMの項目に該当する値を、その入力画像からすぐに見つけ出し、デジタルデータとして抽出します。抽出された値は、Zoho CRMの項目に入力されます。

ユーザーが行う作業は、指示したZoho CRMの項目について、それに該当する値が正しく抽出されているかを確認するだけです。なお、Ziaは、画像内のデータが完全に一致しなくても、項目の値を正しく認識できます。たとえば、血液型を指定する選択リストで、選択肢として定義されている値が「O型プラス」であった場合、画像から抽出された値が「O型+」でも、Ziaはこれを「O型プラス」と解釈できます。ただし、必要であれば、ユーザーが後から修正することも可能です。

これが、「ゼロショットプロンプト」と呼ばれる抽出方法です。Zoho CRMの項目を指定するだけで、それに該当する値を抽出できます。テンプレートを使って値がどこにあるのかを学習させる必要はありません。
 
ゼロショットプロンプトは、多くの場合、何も指示しなくても値を正確に抽出できますが、類似した値が複数ある場合（たとえば、請求先住所と配送先住所など）は、Ziaにさらに詳しい指示を与えることもできます。

Ziaによる詳細抽出の指示文

例として、顧客からの注文書を基に製造指示書を作成する場合を考えてみます。注文書には、配送先住所と請求先住所が含まれています。この場合、ルールに項目を指定するだけでは、どちらの住所かが分からず、誤った住所が抽出される可能性があります。このため、類似した値が複数ある場合は、項目ごとに詳しい指示を記述します。

この指示は、普段使う言葉で記述できます。Ziaは指示文を理解して、項目ごとに適切な値を抽出します。
 

VLMによるICRの要件

ゼロショットプロンプトによるデータの抽出における主な要件は、以下のとおりです。
  1. 形式：JPG、JPEG、PNG
  2. 配置：AIによる画像処理技術において予測／識別可能な任意の配置（独自の配置に対応しています）
  3. スクリプトの種類：手書き、識別可能な印刷テキスト 

ゼロショットプロンプトのルールの設定 

ゼロショットプロンプトを通じてデータを抽出するには、ルールを設定する必要があります。
 
ゼロショットプロンプトのルールを設定するには
  1. ［設定］→［Zia］→［画像検証］→［ICR（インテリジェント文字認識）］の順に移動します。
  2. ICRのページで、［新しいルールを作成する］をクリックします。
  3. 新しいルールの作成画面で、以下の手順を実行します。
    1. ルール名を入力します。
    2. 対象のタブとレイアウトを選択します。
    3. 抽出の種類の選択欄で、［ゼロショットプロンプト］を選択します。
    4. 入力画像から値を抽出する項目をすべて選択します。
    5. ［入力画像の保存先の項目］の欄で、今後の参照用として入力画像を保存する項目を選択します。なお、この項目の選択は任意です。
    6. ［保存する］をクリックします。以上でICRのルールの設定の完了です。画像のスキャンとデータの抽出を開始できます。
ICRを通じたデータの作成方法に関する詳細については、該当のヘルプページをご参照ください。
利用例 

見込み客の登録

展示会で見込み客と名刺を交換したとします。この場合、ICR機能を使用することで、名刺に記載されている内容をもとにZoho CRMで見込み客のデータを作成できます。名刺のデータをZoho CRMに手動で入力する手間を省くことが可能です。
 

患者の登録

病院において、手書きの用紙を使用して患者の情報を収集しているとします。これらの用紙に記載された情報を他のシステムに手動で登録しなおすのには手間と時間がかかります。この場合、ICRを使用することで、登録作業をすばやくスムーズに行うことが可能です。 
 
 

ICRの基本操作  

画像からのデータ作成

画像からデータを作成するには
  1. 対象のタブに移動し、データの作成ボタンの隣にあるドロップダウンをクリックします。
    注：ICRのルールを設定していない場合は、以降の手順を実行できませんのでご注意ください。
  2. ［画像から作成する］をクリックします。表示されたページで、データを抽出する画像をドラッグ＆ドロップします。または、［参照］をクリックしてファイルを選択します。
  3. ［続ける］をクリックします。Ziaによってデータの抽出が開始されます。
  4. データの抽出後、抽出されたデータの種類や内容に応じて項目との関連付けが行われます。この処理は、両方のデータの抽出方法において共通して行われます。
    1. 抽出の精度に応じて、Ziaによって行われた関連付けを維持したまま次に進むこともできます。ただし、画像内のすべての文字がZiaによって抽出されるため、レイアウトにない項目のデータも画像から抽出される場合があります。抽出されたデータが不要な場合は、選択を解除できます。
    2. 抽出の種類の選択欄で［ゼロショットプロンプト］を選択した場合、以下の手順を実行します。
      1. 抽出されたデータが正しくない場合（例：画像のデータは「神奈川」で、レイアウトのデータは「神奈川県」）、データを修正できます。
        1. 選択リストから正しい値を選択できます。
        2. データのレイアウトにおいて作成／編集権限を持つ管理者またはユーザーの場合、新しい値を追加できます。
  5. ［続ける］をクリックします。
    1. 該当の画像が要件を満たさない場合、新しい画像で試すこともできます。

既存データの補完／更新

画像から抽出したデータをもとにデータを作成するだけでなく、既存のデータを補完／更新することもできます。

 

既存データの補完／更新を行うには

  1. 対象となるデータの詳細ページに移動して、データを抽出する画像をクリックします。
  2. プレビュー画面の右上にあるボタンをクリックし、画面からのデータの補完を開始します。
  3. Ziaによって画像内の文字が識別されます。抽出されたデータと既存のデータを確認し、［続ける］をクリックします。
  4. 関連付けの完了後、データの編集ページが表示されます。補完の対象の項目が強調表示されます。
  5. ［保存する］をクリックして、変更内容を保存します。
メモ
 以上をまとめると、Zoho CRMのICR機能を利用する主なメリットは以下のとおりです。
  1. 見込み客や顧客のデータを手動で入力する時間を節約できる。
  2. 業務の生産性を高めることができる。
  3. 準備工程を効率化し、実作業に集中できる。
  4. 印刷物と画面を交互に見る手間を省くことができる。
 

データ抽出方法の選択基準 

ICRには、2種類のデータ抽出方法が用意されています。適切な抽出方法を選択することで、業務を円滑に進めることができます。それぞれの抽出方法が適している主な例は、以下のとおりです。

テンプレート基準によるデータの抽出が適している例

  1. 画像データの形式が一定の場合（Ziaのトレーニング後、高い精度でデータを抽出できます）。
  2. 画像に加えて、画像内のテキストデータを抽出したい場合。

ゼロショットプロンプトによるデータの抽出が適している例

  1. データの配置が画像ごとに異なる場合。
  2. 画像内のデータの種類が多岐にわたる場合（例：手書きのテキストなど）。
  3. 大量の画像からデータをすぐに抽出したい場合。

各抽出方法の制限事項 

テンプレート基準によるデータの抽出における制限事項

  1. ICRのトレーニングによってZiaは人間の顔を識別できますが、商品、物、動物を識別することはできません。
  2. テンプレート基準によるデータの抽出は、カード形式の画像にのみ有効です。
  3. 画像から抽出した値は、特定のレイアウトの項目にのみ関連付けることができます。サブフォームの値に関連付けることはできません。

ゼロショットプロンプトによるデータの抽出における制限事項

  1. ゼロショットプロンプトによるデータの抽出では、画像自体のデータを取得することはできません。
  2. 表からデータを抽出したり、レイアウトのサブフォームに値を出力したりすることはできません。

留意事項

  1. ICR機能を利用して画像上の文字をもとにZoho CRMでデータを作成するには、ICRのルールの設定が必要です。
  2. 組織で作成できるルールの上限は、3件です。
  3. 1件のタブにおいて設定できるルールの上限は、1件です。
  4. 対象のタブの1件のレイアウトにつき、最大で2件の画像をアップロードできます。
  5. 必要に応じてルールを編集、更新、削除できます。
  6. テンプレート基準によるデータの抽出精度を高めるため、角を切り取らずに対象の文字を含む箇所全体を指定することをお勧めします。
  7. 文字が見やすくなるように、必要に応じて画像を拡大、縮小できます。