ブログ

アプリケーションの成功を改善するための、5つの主要なディープラーニング分類メトリックスを理解する

ほとんどの企業において製品の品質は不可欠です。それを適切なタイミングで確保することにより、顧客の信頼、肯定的な口コミ、高価なリコールの減少、最終的にはより良いビジネス成果につながります。工場や生産ラインでは、生産のあらゆる段階でマシンビジョンシステムを採用することは、高品質の製品を提供するための最良の投資の1つです。具体的には、分類器などのディープラーニングツールは、メーカーが生産ラインの品質管理で潜在的な問題を特定し、完成品の欠陥を全体的に制限するのに役立ちます。

分類器は、生産ラインが欠陥や破損した部品を特定し、生産から取り出すだけでは十分ではないため、重要な検査ツールです。これらの欠陥は、分類して、検査システムがパターンを識別し、たとえば傷やへこみであることを判断できるようにする必要があります。これらの生産上の欠陥を的確に分類することで、不良品が市場に流入するのを回避する一方で、予測を誤ると良い製品が販売されなくなり、生産を妨げ、コスト増加をもたらします。

インダストリー 4.0 の世界では、ビッグデータがプロセスと品質管理に不可欠であるため、このデータから適切なメトリックを得ることで、組織はディープ ラーニングの分類検査が最適なパフォーマンスを発揮しているかどうかを把握できます。分類アプリケーションは、このデータを生成するために、主に次の 4 つの結果を採用します。

  • 真陽性: 現地検証データは陽性であり、予測クラスも陽性
  • 偽陽性: 現地検証データは陰性であり、予測クラスは陽性
  • 真陰性: 現地検証データは陰性であり、予測クラスも陰性
  • 偽陰性: 現地検証データは陽性であり、予測クラスは陰性

現地検証データは、自動車バンパーのへこみを特定するなど、実際の検査結果です。開発者やエンジニアは、たとえば、実際の部品で見つかった現地検証データの欠陥と一致するように、欠陥を正しく予測し、分類するために、ディープラーニングアプリケーションを磨きたいと考えています。

組織が分類アプリケーションの成功を測定するために使用できるメトリックは数多くありますが、ここでは 5 つのメトリックを見てみます。

精度とエラー率

1つの番号における基本メッセージを伝えるその単純さと有効性のため、ディープ ラーニング アプリケーションの作製で最もよく使用されるメトリックは分類精度です。エラー率は、精度を補完に役立ちます。

これらは、ディープラーニングアプリケーションの本質的な有効性を特定する最も基本的な指標です。

ディープラーニング検査の精度を測定するための式

精度の測定は比較的簡単です。正しい予測の数を、実行した予測の合計数で割ります。エラー率は、誤った予測の数を合計予測数で割った値です。

分類アプリケーションでは、正しい予測に真陽性と真陰性がすべて含まれることに注意が必要です。

エスケープ率

ディープラーニング検査のエスケープ率を測定するための式

分類アプリケーションが不良品を誤って良品と予測した場合を「エスケープ」と呼んでいます。損傷または欠陥のある製品が検出されずに市場に「流出」することを認めると、企業の高品質の製品に対する評判にダメージを与える可能性があります。さらに、このような流出した製品のリコールは、潜在的に数百万ドルの費用がかかる可能性があります。

エスケープ率は、偽陰性の数を予測の合計数で割って測定します。

オーバーキル率

ディープラーニング検査のオーバーキル率を測定するための式

偽陽性予測を生成する分類アプリケーションは、オーバーキル(過剰な欠陥検出)となり、欠陥のない優れた製品や部品が誤って生産ラインから取り除かれます。ラインから取り除かれた欠陥のない部品が最終的に廃棄されたり、手直しされたりする可能性があります。いずれの場合も、メーカーに部品と労力という追加費用がかかります。

オーバーキル率は、偽陽性の数を予測の合計数で割って測定します。

適合率

ディープラーニングの適合率を測定するための式

適合率で、正しい予測の正解率が分かります。つまり、分類アプリケーションは偽陽性を生じることなく適切にクラス予測を行っているかが分かります。

値 1 は、分類モデルが適切なクラスを予測するのに非常に優れた値であり、また 0% のオーバーキルを達成することを示します。値 0 は、モデルが必要な判断を実行できないことを示します。

F1 スコア

ディープラーニング検査の F1 スコアを測定するための式

F1スコアは、適合率と再現率の調和平均として定義されています。これは、テストの精度の尺度です。最も高い値は 1 で、完全な適合率と再現率を示します。

前述のとおり、適合率は、正しく識別された正の結果の数を、正しく識別されない結果を含めたすべての正の結果の数で割った値です。再現率は、正しく識別された正の結果の数を、正しく識別されない結果を含めたすべての正の結果の数で割った値です。

F1 スコアは、分類アプリケーションが行った正しい予測の割合です。

重要なことを測定する

これらの例は、説明を分かり易くするためシンプルになっています。実世界のディープラーニング アルゴリズムは、半ダース以上に分類される場合もあります。つまり、はるかに洗練された複雑な指標が必要です。たとえば、学習アルゴリズムの再現率や適合性を評価するための式はより複雑です。

最終的に、これらの分類指標により、企業は成功のベースラインを作成し、教師が生徒を採点するのと同様に、スコアリングメカニズムを適用することができます。時間の経過と同時に、ディープラーニング開発者はこれらの指標を使用してアプリケーションを微調整し、機能すること、機能しないことをより正確に評価することができます。

ファクトリオートメーションにおいて、メーカーは、展開したアプリケーションで何が機能し、何が機能しないかをより深く理解する必要があります。どの指標に焦点を絞るかは、各組織の固有の生産ライン、解決しようとしている問題、最も重要なビジネス成果によって異なります。

他の投稿

製品のサポートやトレーニングなどの詳細を見る

マイコグネックスに参加

お気軽にお問合せください

Cognex は世界中でお客様のビジョンと工業用バーコドリーダのあらゆるニーズをサポートしています。

お問合わせ