[개념] classification model 성능평가지표

사진 출처 - https://sumniya.tistory.com/26

• TP(True Positive) : 정답 True, 예측 값 True (정답)
• FP(False Positive) : 정답 False, 예측 값 True (오답)
• FN(False Negative) : 정답 True, 예측값 False (오답)
• TN(True Negative) : 정답 False, 예측값 False (정답)

1. Precision(정밀도)

모델이 True라고 분류한 것 중에서 실제 True인 것의 비율

정답률(Positive Predictive Value, PPV)라고도 불린다.

만약 FP = 0이면 결과가 무조건 1이 됨으로 꼭 1이라고 좋은 것은 아니다.

다시말해 Precision이 0이라는 것은 False인 것을 False로는 잘 예측 했지만, True인 것을 True로 잘 인식했다고 할 수는 없는 것이다.

2. Recall(재현율)

실제 True인 것 중에서 모델이 True라고 예측한 비율

통계학에서 sensitivity, 다른 분야에서는 hit rate라는 용어로도 사용한다.

이는 Precision과 다르게 결과가 1이나온 다는 것은 True인 것은 모두 True로 잘 예측 했지만 False은 것을 False로 잘 예측 했다고는 할 수 없다.

 

※ Precision은 모델의 입장, Recall은 실제 정답의 입장에서 본 관점

 

=> 요약하자면 Precison은 1에 가까울 수록 False를 잘 예측한 것이고 Recall은 True를 잘 예측 한 것이다. 

 

3. Accuracy(정확도)

가장 직관적으로 모델의 성능을 나타낼 수 있는 평가 지표

이는 data의 bias(편중)이 발생할 경우 평가의 신뢰도가 낮아진다.

다시 말해 잘 못 예측한 것이 모든 데이터의 극 소수라면 모델이 잘 만들어졌다고 보기 힘든 것이다.

 

4. F1 score

Precision과 Recall의 조화평균

F1 score는 데이터 label이 불균형 구조일 때, 모델의 성능을 정화하게 평가할 수 있으며, 성능을 하나의 숫자로 표현 가능하다. F1-score는 데이터 레이블이 불균형 구조일 떄, 모델의 성능을 정확하게 평가할 수 있다.[출처: '텍스트 분류 기반 기계학습의 정신과 진단 예측 적용'논문 인용]

5. ROC curve

모든 분류 임계값에서 분류 모델의 성능을 보여주는 그래프, 이 곡선은 참 양성 비율(TPR)과 허위 양성 비율(FPR)을 표시

이미지 출처 : https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc?hl=ko

ROC 곡선의 점을 계싼하기 위해 분류 임계값이 다른 로지스틱 회귀 모형을 여러 번 평가할 수 있지만 이 방법은 효율적이지 않아 AUC라는 알고리즘이 나옴

6. AUROC(=AUC)

• ROC curver 그래프 아래의 면적값으로 최대값은 1이며 좋은 모델일 수록 1에 가깝다.
• AUC 값의 범위는 0~1
• AUC는 척도 불변이여서 절대값이 아니라 예측이 얼마나 잘 평가되는지 측정한다.
• AUC는 분류 임계값 불변이여서 어떤 분류 임계값이 선택되었는지와 상관 없이 모델의 예측 품질을 측정
• 하지만 척도 불면이 항상 이상적인 것은 아니다. 예를 들어 잘 보정된 확률 결과가 필요한 경우 AUC는 이 정보를 알 수 없음
• 분류 임계값 불변의 경우 FN과 FP 비용에 큰 차이가 있는 경우 한 가지 유형의 분류 오류를 최소화하는 것은 위험할 수 있다.
• sklearn.metrics.auc( x , y )를 이용하여 계산 가능하다 - 참고링크

sklearn.metrics.auc — scikit-learn 0.24.1 documentation

※분류 임계값이란 것은 로지스틱 회귀 값을 이진 카테고리에 매핑하려고 회귀 값 x부터는 1로 나머지는 0으로 본다의 개념으로 생각하면 될 것 같다. - 참고료링크

7. Fall-out

FPR(False Positive Rate)으로도 불리며, 실제 False인 data 중에서 모델이 True라고 예측한 비율