想要對人工智能模型進(jìn)行評估，不了解評估指標(biāo)怎么辦?

隨著人工智能技術(shù)應(yīng)用領(lǐng)域越來越廣。大量使用了人工智能技術(shù)的產(chǎn)品出現(xiàn)在了我們的現(xiàn)實生活中，比如常見的人臉識別，語音識別等等。那么怎樣去衡量這些產(chǎn)品的好壞呢，譬如怎么驗證識別率高低呢。 相信這是開發(fā)這個產(chǎn)品的研發(fā)人員以及測試人員必須要關(guān)注的一個問題。但要衡量這個標(biāo)準(zhǔn)呢，通過傳統(tǒng)的功能測試方法是測不出來的，必須要通過人工智能訓(xùn)練出的模型進(jìn)行評估。而評估自然就會涉及到一些指標(biāo)。本文就講述人工智能領(lǐng)域常見的二分類問題的模型評估指標(biāo)。【推薦了解傳智播客軟件測試培訓(xùn)課程】

所謂二分類就是一個判斷是與否的標(biāo)準(zhǔn)，比如我們判斷一封郵件是否是垃圾郵件，那么衡量的標(biāo)準(zhǔn)就是兩個：

1.是垃圾郵件

2.不是垃圾郵件

本文通過兩步進(jìn)行二分類問題模型衡量指標(biāo)的闡述：

一、二分類模型評估指標(biāo)的理論介紹

目標(biāo)

掌握二分類模型評估指標(biāo)的分類以及定義

步驟

1.引出混淆矩陣

• 衡量指標(biāo)要根據(jù)混淆矩陣的各個分類來進(jìn)行計算

• 人工標(biāo)記的正被機(jī)器預(yù)測為正叫TP、人工標(biāo)記的負(fù)被機(jī)器預(yù)測為正叫：FP、人工標(biāo)記的負(fù)被機(jī)器預(yù)測為正叫：FN、人工標(biāo)記的負(fù)被機(jī)器預(yù)測為負(fù)叫：TN

• 預(yù)測正確：正預(yù)測為正、負(fù)預(yù)測為負(fù)

預(yù)測不正確：正預(yù)測為負(fù)、負(fù)預(yù)測為正

• T-Ture F-False P-Positive N-Negative

 混淆矩陣圖

2.具體指標(biāo)定義

• 準(zhǔn)確率(Accuracy): 所有被AI預(yù)測正確的樣本(包括正、負(fù))占所有樣本的比例

公式如下：

Accurary=( TP + TN)/(TP+TN+FP+FN)

• 精確率(Precision): 又叫查準(zhǔn)率，正確預(yù)測為正的占所有預(yù)測為正的比例

公式如下：

Precision= TP/(TP+FP)

• 召回率(Recall)：又叫查全率，正確預(yù)測為正的占全部實際為正的比例

公式如下：

Recall=TP/(TP+FN)

二、二分類模型評估指標(biāo)實例

目標(biāo)

掌握二分類模型評估指標(biāo)實際計算以及現(xiàn)實意義

步驟

1.實例介紹

報名參加傳智播客黑馬程序員軟件測試培訓(xùn)班有男生、女生。我們進(jìn)行分類，將女生看成是正類，男生為負(fù)類，使用AI模型預(yù)測后進(jìn)行指標(biāo)分析

2.混淆矩陣實例

3.指標(biāo)計算

• Accuracy= (58+49)/(58+2+1+49)=97.2%

• Precision=58/(58+1)=98.3%

• Recall=58/(58+2)=96.7%

4.指標(biāo)含義的業(yè)務(wù)分析

準(zhǔn)確率：傳智播客公司需要統(tǒng)計所有人里面被機(jī)器正確識別為男生+正確識別為女生的比例

精確率：傳智播客公司需要統(tǒng)計所有被機(jī)器預(yù)測為女生里面真正是女生的比例

召回率：傳智播客公司需要統(tǒng)計所有女生里正確被機(jī)器預(yù)測為女生的比例

總結(jié)

本文通過理論加實踐的方式，為從事人工智能行業(yè)技術(shù)人員解答了AI領(lǐng)域常見的二分類問題的模型評估指標(biāo)。需要注意的實際項目中需要根據(jù)業(yè)務(wù)需求來選擇一個具體的衡量指標(biāo)，重點不是記住公式，而是要理解公立背后所代表的的含義。