분류모델 성능 지표 - AUC(Area Under the Curve) 정리

1. AUC 개념

AUC(Area Under the Curve)는 딥러닝을 포함한 머신러닝 분류 모델의 성능을 평가하는 중요한 지표입니다. 주로 이진 분류 문제에서 사용되며, ROC(Receiver Operating Characteristic) 곡선 아래의 면적을 나타냅니다. 

출처: https://en.wikipedia.org/wiki/Partial_Area_Under_the_ROC_Curve

 

1. AUC는 ROC 곡선 아래의 면적을 의미합니다

2. ROC 곡선은 다양한 분류 임계값에서 모델의 성능을 보여주는 그래프입니다

3. ROC 곡선은 x축에 False Positive Rate(FPR), y축에 True Positive Rate(TPR)를 표시합니다.

 

X 축: False Positive Rate (FPR)

실제 음성 샘플 중 양성으로 잘못 분류된 비율을 나타냅니다.

$$\text{Specificity}=\frac{TN}{TN+FP}$$

 

Y 축: True Positive Rate (TPR)

실제 양성 샘플 중 양성으로 올바르게 분류된 비율을 나타냅니다. 재현율(Recall) 과 동일합니다.

$$\text{Recall}=\frac{TP}{TP+FN}$$

 

2. AUC 특징

1. AUC 값의 범위는 0에서 1 사이입니다. 1 에 가까울수록 모델의 성능이 우수함을 의미합니다

2. AUC가 0.5인 경우는 랜덤 추측과 동일한 성능을 나타냅니다.

 

3. AUC 장점

1. 클래스 불균형에 강건합니다. 데이터셋의 클래스 분포가 불균형하더라도 안정적인 평가가 가능합니다.

2. 모든 가능한 분류 임계값에서의 모델 성능을 종합적으로 평가합니다.

3. 스케일에 불변합니다. 예측 값의 절대적인 크기보다는 순위에 기반하여 평가합니다.

 

4. AUC 활용

1. 모델 선택: 여러 딥러닝 모델 중 가장 성능이 좋은 모델을 선택하는 데 사용됩니다.

2. 하이퍼파라미터 튜닝: 최적의 하이퍼파라미터를 찾는 과정에서 AUC를 성능 지표로 활용할 수 있습니다.

3. 조기 종료(Early Stopping): 검증 세트의 AUC를 모니터링하여 과적합을 방지하는 데 사용할 수 있습니다.

 

5. 결론

AUC는 딥러닝 모델의 성능을 평가하는 데 매우 유용한 지표이지만, 항상 다른 평가 지표들과 함께 종합적으로 고려해야 합니다. 또한 문제의 특성과 도메인에 따라 적절한 평가 지표를 선택하는 것이 중요합니다.