머신 러닝 분야에서 평가 지표는 모델이 얼마나 잘 동작하는지를 측정하는 데 중요한 역할을 합니다. 이 중에서도 다중 클래스 분류 문제에서는 클래스별 성능을 평가하는 데 있어서 다양한 방법들이 있습니다. 그 중에서도 대표적으로 사용되는 방법으로는 Macro-average와 Micro-average가 있습니다.
Macro-average 매크로 평균
Macro-average는 클래스별 성능 지표를 각각 계산한 후 평균을 내는 방식입니다. 이 방법은 클래스별 데이터 셋이 균등하게 분포되어 있을 때 적합합니다. 예를 들어, 10개의 클래스가 있는 다중 클래스 분류 문제에서 5개의 클래스는 100개의 데이터를 가지고 있고, 나머지 5개의 클래스는 10개의 데이터만 가지고 있다고 가정해 봅시다. 이 경우, Macro-average는 모든 클래스의 성능을 동일하게 취급하므로, 각 클래스의 데이터 수에 관계 없이 모든 클래스가 동일한 비중으로 반영됩니다.
다음은 Macro-average를 계산하는 과정입니다. 클래스 개수가 k개라고 할 때,
- 클래스별로 TP(True Positive), FP(False Positive), FN(False Negative), TN(True Negative)를 계산합니다.
- Precision, Recall, F1-score 등 성능 지표를 클래스별로 계산합니다.
- 클래스별로 계산된 지표들을 모두 더한 후 클래스 수(k)로 나눕니다.
Micro-average 마이크로 평균
Micro-average는 클래스별로 성능 지표를 계산하기 전에 모든 클래스를 하나의 클래스로 간주하고 전체적인 성능 지표를 계산합니다. 이 방법은 클래스별 데이터 수가 다르더라도 모든 클래스의 성능을 동일하게 고려하므로, 클래스별 데이터 수가 차이가 많이 나는 문제에서 유용합니다.
다음은 Micro-average를 계산하는 과정입니다.
- 전체 데이터셋에서 TP, FP, FN, TN을 계산합니다.
- Precision, Recall, F1-score 등 성능 지표를 전체 데이터셋에 대해 계산합니다.
이제 간단한 예시를 들어보겠습니다. 다음과 같은 3개의 클래스(0, 1, 2)가 있고, 각각의 클래스에 대해 TP, FP, FN, TN의 개수가 다음과 같다고 가정해 봅시다.
| 클래스 | TP | FP | FN | TN |
|---|---|---|---|---|
| 0 | 10 | 2 | 3 | 85 |
| 1 | 15 | 4 | 7 | 81 |
| 2 | 8 | 1 | 4 | 94 |
이 경우, Macro-average와 Micro-average를 각각 계산해 보겠습니다.
Macro-average 계산
- 클래스별 TP, FP, FN, TN 계산
| 클래스 | TP | FP | FN | TN |
|---|---|---|---|---|
| 0 | 10 | 2 | 3 | 85 |
| 1 | 15 | 4 | 7 | 81 |
| 2 | 8 | 1 | 4 | 94 |
- 클래스별 Precision, Recall, F1-score 계산
| 클래스 | Precision | Recall | F1-score |
|---|---|---|---|
| 0 | 0.8333 | 0.7692 | 0.8000 |
| 1 | 0.7895 | 0.6818 | 0.7317 |
| 2 | 0.8889 | 0.6667 | 0.7619 |
- 모든 클래스의 지표를 더한 후 클래스 수로 나눔
$$ \text{Macro-average Recall} = \frac{0.7692+0.6818+0.6667}{3} = 0.706 \\\\ \text{Macro-average F1-score} = \frac{0.8000+0.7317+0.7619}{3} = 0.764 $$
Micro-average 계산
1. 전체 데이터셋에서 TP, FP, FN, TN 계산
| 전체 데이터셋 | TP | FP | FN | TN |
| 33 | 7 | 14 | 260 |
2. 전체 데이터셋에서 Precision, Recall, F1-score 계산
$$ \text{Micro-average Precision} = \frac{33}{33+7} = 0.825 \\\\ \text{Micro-average Recall} = \frac{33}{33+14} = 0.702 \\\\ \text{Micro-average F1-score} = 2 \times \frac{0.825 \times 0.702}{0.825 + 0.702} = 0.759 $$
이처럼 average Micro-average는 다중 클래스 분류 문제에서 클래스별 성능을 평가하는 데 사용되는 방법 중 두 가지입니다. Macro-average는 클래스별 데이터셋이 균등하게 분포되어 있을 때 유용하며, Micro-average는 클래스별 데이터 수가 차이가 많이 나는 문제에서 유용합니다.
계산 법의 선택
어떤 방법을 선택할지는 데이터셋의 특성에 따라 달라질 수 있습니다.
예를 들어, 클래스별로 데이터 수가 크게 차이가 나지 않고 균등하게 분포된 경우에는 Macro-average를 사용하는 것이 적절할 수 있습니다.
반면에 클래스별로 데이터 수가 크게 차이가 나는 경우에는 Micro-average가 더 적절할 수 있습니다.
클래스별로 데이터가 균등한지 아닌지는 카이제곱검정을 하면 알 수 있습니다.
또한, Macro-average는 클래스별 성능을 독립적으로 평가하기 때문에, 각 클래스가 동등하게 중요한 경우에 적합합니다. 반면에 Micro-average는 모든 클래스가 동일한 중요도를 가지는 것이 아니라, 전체적인 성능이 중요한 경우에 적합합니다.
마지막으로, Macro-average와 Micro-average는 모델의 성능을 평가하기 위해 단독으로 사용하기 보다는, 다른 지표와 함께 사용하는 것이 좋습니다. 또한, 클래스별로 데이터 수가 매우 작거나 없는 경우에는 이를 해결하기 위해 Weighted average 방법을 사용하기도 합니다. 이는 클래스별 데이터 수를 고려하여 평균을 계산하는 방법으로, Macro-average와 Micro-average의 중간 형태라고 볼 수 있습니다. 이러한 방법들을 적절히 사용하여 다중 클래스 분류 모델의 성능을 정확하게 평가할 수 있습니다.
