想要對人工智能模型進行評估，不了解評估指標怎么辦?

隨著人工智能技術(shù)應用領(lǐng)域越來越廣。大量使用了人工智能技術(shù)的產(chǎn)品出現(xiàn)在了我們的現(xiàn)實生活中，比如常見的人臉識別，語音識別等等。那么怎樣去衡量這些產(chǎn)品的好壞呢，譬如怎么驗證識別率高低呢。 相信這是開發(fā)這個產(chǎn)品的研發(fā)人員以及測試人員必須要關(guān)注的一個問題。但要衡量這個標準呢，通過傳統(tǒng)的功能測試方法是測不出來的，必須要通過人工智能訓練出的模型進行評估。而評估自然就會涉及到一些指標。本文就講述人工智能領(lǐng)域常見的二分類問題的模型評估指標?！就扑]了解傳智播客軟件測試培訓課程】

所謂二分類就是一個判斷是與否的標準，比如我們判斷一封郵件是否是垃圾郵件，那么衡量的標準就是兩個：

1.是垃圾郵件

2.不是垃圾郵件

本文通過兩步進行二分類問題模型衡量指標的闡述：

一、二分類模型評估指標的理論介紹

目標

掌握二分類模型評估指標的分類以及定義

步驟

1.引出混淆矩陣

• 衡量指標要根據(jù)混淆矩陣的各個分類來進行計算

• 人工標記的正被機器預測為正叫TP、人工標記的負被機器預測為正叫：FP、人工標記的負被機器預測為正叫：FN、人工標記的負被機器預測為負叫：TN

• 預測正確：正預測為正、負預測為負

預測不正確：正預測為負、負預測為正

• T-Ture F-False P-Positive N-Negative

 混淆矩陣圖

2.具體指標定義

• 準確率(Accuracy): 所有被AI預測正確的樣本(包括正、負)占所有樣本的比例

公式如下：

Accurary=( TP + TN)/(TP+TN+FP+FN)

• 精確率(Precision): 又叫查準率，正確預測為正的占所有預測為正的比例

公式如下：

Precision= TP/(TP+FP)

• 召回率(Recall)：又叫查全率，正確預測為正的占全部實際為正的比例

公式如下：

Recall=TP/(TP+FN)

二、二分類模型評估指標實例

目標

掌握二分類模型評估指標實際計算以及現(xiàn)實意義

步驟

1.實例介紹

報名參加傳智播客黑馬程序員軟件測試培訓班有男生、女生。我們進行分類，將女生看成是正類，男生為負類，使用AI模型預測后進行指標分析

2.混淆矩陣實例

3.指標計算

• Accuracy= (58+49)/(58+2+1+49)=97.2%

• Precision=58/(58+1)=98.3%

• Recall=58/(58+2)=96.7%

4.指標含義的業(yè)務分析

準確率：傳智播客公司需要統(tǒng)計所有人里面被機器正確識別為男生+正確識別為女生的比例

精確率：傳智播客公司需要統(tǒng)計所有被機器預測為女生里面真正是女生的比例

召回率：傳智播客公司需要統(tǒng)計所有女生里正確被機器預測為女生的比例

總結(jié)

本文通過理論加實踐的方式，為從事人工智能行業(yè)技術(shù)人員解答了AI領(lǐng)域常見的二分類問題的模型評估指標。需要注意的實際項目中需要根據(jù)業(yè)務需求來選擇一個具體的衡量指標，重點不是記住公式，而是要理解公立背后所代表的的含義。