Confusion Matrix(컨퓨전 매트릭스)는 한국어로 혼동행렬이라고 부릅니다.

혼동행렬이라는 단어가 어색해서 흔히 영어 발음 그대로 컨퓨전 매트릭스라고 부릅니다.

Confusion matrix는 기계학습 모델 중에서 분류 모델의 성능을 측정하고 학인하기 위한 간단한 계산식과 표입니다. 기계학습의 분류모델의 성능 측정을 위한 지표 계산법 이라고 기억하시면 됩니다.

인터뷰나 멘토링을 할 때 기계학습 초보자인지 아닌지를 확인하는 가장 쉬운 방법은 Confusion Matrix를 설명하라고 하거나 어떤 모델에 대한 설명을 한 후 Confusion Matrix에서 어떤 것을 보는게 좋을지에 대해서 물어보고 대답을 어찌하는지 보면 확인할 수 있습니다.

Confusion Matrix에 대해서 잘 모른다면 기계학습에 대한 지식이 아예 없다고도 볼 수 있습니다.

흔히 Confusoin matrix는 위의 그림에서 좌상단에 있는 조그만 박스를 말하는데 기계학습을 하다가 보통 Precision, Recall과 같은 지표 이름이 나오면 Confusion matrix라고 생각하면 됩니다.

위의 표가 행렬처럼 생겨서 혼동행렬이라고 하는것인데

이름이 왜 혼동이라는 단어가 들어가서 혼동행렬인지 단어의 뜻을 이해하면 저게 왜 복잡한지 알 수 있습니다.

기계학습 모델의 문제는 “그 모델이 왜필요하며 어떤 문제를 해결하기 위해서 필요한가 ”에 따라서 어떤 지표를 봐야 하는지를 결정해야 하고 어떤 지표와 어떤 지표가 상관관계가 있는지 상호충돌(trade off)인지도 잘 이해하지 않으면 지표를 보는 것(해석하는 요령)이 어렵습니다.

그래서 혼동행렬이라고 부릅니다.

Precision을 중요하게 봐야 하는 모델, Recall을 중요하게 봐야 하는 모델, 둘 다 봐야하는 모델 등 각기 다른데 모델의 각 지표에 대한 중요도와 우선순위는 모델이 처한 상황과 산업, 모델이 해결해야 하는 문제에 따라 다릅니다.

어쨌든 혼동행렬에서 중요한 기본 4개의 지표는

• TP: True Positive. 모델이 긍정이라고 한 것중에 정답도 긍정인 것
• FP: False Positive. 모델은 긍정이라고 했지만 정답은 부정인 것
• FN: False Positive. 모델이 부정이라고 한 것중에 정답이 긍정인것
• TN: True Negative. 모델이 부정이라고 한 것중에 실제로 정답도 부정인 것

TP, TP, FN, TN은 모두 카운트한 값으로 빌드한 모델을 테스트 데이터에 대해서 실험해서 나온 결과로 구하게 됩니다.

위의 기본 지표도 상당히 헷갈리는데 간단하게 이해하려면 True와 False는 기계(모델)이 한 행위가 맞다 틀리다를 표현하는 것이고 Positive와 Netagive는 모델이 데이터 레코드를 어떻게 판별했는가를 나타냅니다.

True Positive라면 모델은 데이터레코드를 긍정이라고 판단했고 True이기 때문에 모델이 긍정이라고 한 것이 맞다! 라는 뜻입니다.

False Negative라면 모델은 데이터 레코드를 부정으로 판단했고 False이기 때문에 모델이 그렇게 판단한 것이 틀렸다는 의미입니다. 풀어서 설명하면 False Negative는 모델이 부정이라고 했지만 사실 정답은 긍정인것이라 모델이 네가티브로 판별한 것은 틀렸다는 의미입니다.

그 뒤에 2차 지표를 구하게 되는데

이것들이 precision, Recall, Accuracy, F1-score, F-beta score 같은 것들입니다.

이 지표들은 Confusion Matrix안에 있는 4개의 기초 카운트값으로 계산해서 구할 수 있고 보통 비율값으로 계산이 됩니다.

RFM에 대해서 간단하게 정리한 것을 올립니다.
더 복잡한 분석기법이나 모델링 방법은 다른 포스트에 올려보겠습니다.

RFM 정의

RFM은 마케팅 분석 방법 중 하나입니다.
온라인 리테일(물건을 판매하는 사업)에서 고객 군집을 고객의 최종 방문수, 유휴시간, 소비금액을 기준으로 나누고 각 군집이 어떻게 유지되고 변화하는지에 따라서 현재 비즈니스 상태를 파악하고 문제가 있다면 어떻게 대응해야 할지를 판단하는데 쓰는 방벘입니다.

온라인 리테일이라면 쿠팡, 위메프, 티몬, 지마켓, 11번가, SSG 등을 생각하면 쉬울 것입니다.

RFM은 디지털마케팅 기법을 이용해서 기업을 성장시키는 그로쓰해킹 (Growth Hacking)에서도 자주 쓰이는 분석지표입니다. 그래서 디지털 마케터, 비즈니스 데이터 분석가라면 반드시 알아야 하는 분석 방법입니다.

RFM의 용어 정리

RFM – Recency, Frequency, Monetary 의 각각 앞 글자를 따서 RFM이라고 부릅니다.

비슷한 것으로 RFD가 있으나 Monetary가 Duration으로 바뀐것 외에는 동일합니다. Duration는 체류기간입니다.

RFD – Recency, Frequency, Duration

RFM에서 고객의 방문 또는 구매 주기의 관점에서 볼 때 구매액은 크게 중요하지 않고 그 보다는 체류시간 같은 것이 더 중요한 비즈니스에서는 머니테리 대신 듀레이션을 사용하기도 합니다.

체류시간이 중요한 비즈니스는 게임입니다. 게임의 체류시간은 어떤 면에서는 게임에서 인앱구매를 하는 것 보다 더 중요할 수 있으며 정액제 게임이고 게임내 구매가 없는 경우라면 활성유저가 많아야 게임이 흥하기 때문입니다. 어쨌든 RFD 분석도 RFM 분석과 같은 것입니다.

RFM과 마케팅 전략

RFM을 한국어로 번역하면 최신성, 빈발성, 통화성(체류성) 으로 해석할 수 있으나 한국어로 번역하면 매우 어색하므로 그대로 리센시, 프리퀀시, 머니테리로 부릅니다.

광고주가 그들의 관점에서 고객(Customer)을 세그멘테이션하고 프로파일링하고 고객의 가치를 판단하고 마케팅 전략을 세우는 데 활용하는 방법입니다.

앞서 말했듯이 리테일 비즈니스 업체 (소비재 물건을 판매하는 업체) 또는 온라인 서비스 업체(넷플릭스, 유튜브, 멜론 같은)가 고객을 분할해서 구분하고 관리하는 오래된 고객 관리 및 분석 기법입니다.

RFM 계산하기

RFM은 고객에게 R, F, M 각각의 점수를 부여하고 그 다음에 점수들을 다시 몇개의 적은 그룹으로 묶은 뒤에 구분한 그룹들을 관리하게 됩니다.

R 점수

R(Recency)은 오늘로 부터 최종 방문한 날까지의 날짜수를 계산합니다. 10일전에 왔다면 R은 10이 됩니다. R점수는 적을 수록 좋은 것입니다.

F 점수

F(Frequency)는 고객이 가입 또는 최초방문 또는 최초구매일로부터 지금까지 구매한 수입니마. 구매한 횟수 일수도 있고 구매한 물건 수 일수도 있지만 보통은 트랜잭션을 기준으로 합니다. 그러니까 결제를 한 번했다면 물건을 여러번 사도 1회로 카운트합니다. F는 높을 수록 좋습니다.

M 점수

M(Moneytary)는 구매한 금액의 총액입니다. F와 마찬가지로 지금까지 구매한 트랜잭션의 금액을 모두 더하면 됩니다. 반품이나 결제취소는 할 수 있다면 계산에서 빼야합니다.

RFM의 점수 분할 척도

R, F, M을 각각 기본 5점 척도로 분할해서 총 125가지 유형으로 고객을 중규모(세그먼트 수가 100을 넘지 않음) 분할해서 관리 계획을 세우고 대책을 만들어 정복합니다.

R, F, M은 각각 척도를 주고 양적점수에 의한 순서로 등분할 하는데 (Quantile) 척도는 3 ~ 5점 등으로 분석하는 사람과 업체에 따라 다르게 할 수 있으나 기본 5점으로 분할하는 예가 가장 많습니다.

아까 구한 R값을 기준으로 역순정렬해서 퀀타일로 고객그룹을 5개로 균등분할해서 각 고객에게 R점수를 1 ~ 5점으로 부여합니다. R은 숫자가 낮을 수록 좋은 것이기 때문에 역순정렬합니다.

F값은 순 정렬해서 역시 순서대로 5개로 균등분할해서 F점수를 부여하고 M도 마찬가지로 순정렬해서 5개로 부여합니다.

예를들어 지금까지 가입한 고객이 총 100명이라면 R=1은 20, R=2도 20, R=3도 20, R=4도 20, R=5도 20명씩이 됩니다. F와 M도 동일하게 각 점수별로 20명씩이됩니다.

퀀타일은 어떤 기준값을 가지고 정렬을 해서 순서대로 균등(또는 최대한 균등

표 – 5점 척도에 의한 RFM 분할

위와 같이 되는데 중요한 것은 나뉘는 그룹이 총 5 x 5 x 5 = 125개 일것 같지만 실제로는 125개가 안될 수도 있습니다.

R=1, F=5, M=5와 같은 특정 조합에 해당하는 고객이 한명도 없을 수 있기 때문입니다.

어쨌든 이렇게 해서 고객들은 최소 5개에서 최대 125개의 그룹으로 나눕니다. 보통 100개 이상의 그룹에 모두 고객이 존재하게 되는데 이건 관리하기 너무 많고 인사이트를 얻기에도 힘듭니다. 그래서 이 그룹들을 다시 관리하기 좋게 의미와 이름을 부여해서 나누고 관리합니다.

캠페인의 전환율을 RFM으로 파악하는 법

캠페인의 전환률이 매우 낮다면 그 이유는 적절한 고객(Customer)에게 타겟팅하지 않았기 때문입니다. 고객 세그먼트는 각각 동일한 캠페인에도 다르게 반응하기 때문입니다.

그래서 고객을 구매 행동에 따라 다르게 분류해야 할 필요가 있고 분류된 세그먼트별로 다른 접근 방법으로 다르게 접근해야 합니다.

충성고객에게는 상품이 형편없지만 않으면 구매를 합니다. 하지만 비충성 고객에게는 매리트가 충분히 있는 비교적 가격 경쟁력이 높으면서 구매 부담이 없는 제품을 캠페인으로 보여주지 않으면 클릭하지 않습니다.

RFM은 행동 기반의 고객 세그먼트를 위해 이미 증명된 마케팅 모델입니다. RFM은 거래 내역(transaction history)으로 얼마나 최근에, 얼마나 자주, 얼마나 많은 돈을 지불했는지로 고객을 그루핑(grouping) 합니다.

RFM은 파라미터 3개를 사용하는 이유는 고객 가치평가는 1개의 파라미터만으로는 부족할 수 있기 때문입니다.

RFM의 3개의 척도중에서 보통은 가장 좋은 고객은 가장 많은 금액을 지불한 고객이라는 데는 대부분 동의하지만 그 고객이 아주 오래전에 딱 한 번 구매를 했고 더 이상 우리 제품을 사용하지 않는다면 최고의 고객이 아닐 가능성이 큽니다.

그래서 RFM은 3개의 고객 속성으로 고객을 순위화(rank)합니다.

고객이 최근에 구매했다면 더 높은 점수를 주고

고객이 빈번하게 구매했다면 더 높은 점수를 주고

고객이 많은 돈을 지불했다면 더 높은 점수를 줍니다.

그리고 3가지 점수를 병합해서 RFM 점수를 만듭니다.

그런 후에 고객을 RFM(Recency – Frequency – Monetary) 점수로 서로 다른 그룹으로 분할할 수 있다. 반대로 말하면 동질 그룹으로 묶을 수 있게 됩니다.

고객을 여러 다른 세그먼트 체계로 분할 수 있지만 보통 11개 정도로 분할하는 것을 추천하고 있습니다.

RFM 세그먼트 분할표1

RFM 세그먼트 분할표2

통계학적 RFM Analysis를 위해서 예제로 제시한 RFM 점수와 세그먼트 분할표

이 세그먼트 분할 기준으로 여러 세그먼트에 중복 분류되는 고객군이 있을 수 있으므로 다소 문제가 있을 수 있다.

문제점

• 조건 적용에 순서에 따라 분할되지 않은 세그먼트가 발생하므로 범위에 따른 조건의 적용 순서를 재배열 해야함
• 조건에 포함되지 않는 고객들이 있음
  • 모든 고객들이 꼭 1개의 세그먼트에 포함되어야 하는가에 대한 결정 문제가 있음
  • 고객들이 2개 이상의 세그먼트에 겹쳐서 포함되어도 괜찮은가에 대한 결정 문제가 있음
  • 세그먼트간 경곗값이 크지 않으면 세그먼트를 합치거나 중복해야 할 수 있음

코멘트

• RFM 그룹에 따라 광고배너의 내러티브를 변경하는 것이 더 나을 수 있음
  • 저희의 최고의 고객이십니다. 고객님이 지금 가글을 한 병 사시면 한 병 더 드립니다. 뭐 이런식으로? 해줘야 한다.

RFM 점수 계산

RFM점수는 다음의 3가지 행동 데이터를 기반으로 계산합니다.

• Recency (R): 마지막으로 구매한 후에 오늘까지 몇일이 지났는가?
• Frequency (F): 지금까지 전체 구매(거래)가 몇번 있었는가?
• Monetary (M): 지금까지 전체 구매한 금액은 얼마인가?

위의 값을 계산한 후에 1 ~ 5점의 척도로 바꾸면 RFM 점수(RFM score)가 된다.

RFM 데이터 처리 흐름 Data processing workflow

비닝 binning

Percentile 또는 Quantile 기반으로 개체수에 따른 등분할 합니다. 동일하거나 거의 비슷한 수가 되도록 분할하는 것입니다.

이것은 상대적 분할이기 때문에 절대 기준이라고생각해서는 안됩니다. RFM은 상대적으로 좋은 고객인지 위험한 고객인지를 아는 것이지 절대적으로 좋은 고객 안좋은 고객을 알아내는 지표는 아닙니다.

특히 업종별로는 고객의 구매 관련 행동 패턴의 양상이 다르므로 비교하는데 사용하기 어렵지만 같은 업종끼리라면 비슷한 업종의 회사의 RFM 고객 세그먼트는 비교대상이 됩니다.

RFM의 문제점

프로파일링 문제1

세그먼트를 분할하고 분할 세그먼트에 네이밍 또는 정의(definition)을 사람에 의해서 해석해야 하는 문제. 샘플이 있으므로 샘플 이용해 시도한 후에 정의하는 방법을 알아낼 수 있습니다.

프로파일링 문제2

세그먼트 분할 후 각 세그먼트의 분포와 개체수를 확인하고 나서 문제를 알게 되는데 문제의 원인을 알기 위해서는 고객사 현업의 경험 지식이 필요합니다.

프로파일링 문제3

세그먼트에 대한 분할 예제가 있으나 주관적(업체별)일 수 있어 공통된 세그멘테이션 방법으로 진행해도 무리가 없을지에 대한 판단이 필요

•  우선 공통 기준으로 세그먼트를 모두 나눈 뒤 업종별 또는 광고주별로 세그먼트의 분할이 어떻게 되었는지 성과는 어떠했는지, 변화는 어떻게 되어 왔는지 구분해서 비교 리포트를 작성한다.
• 작성한 후 세그먼트 분할 기준을 각각 따로 할지 공통으로 할지 재결정한다. 가능하다면 공통 기준으로 가는 것이 비교 분석을 하기 편리하므로 그에 대한 가중치를 주고 결정을 하도록 한다.
• 타일을 분할할 때 타일간의 대푯값의 차이가 없는 경우 타일 수를 조절해야 할 수 있는데 조절하지 않고 대푯값의 차이와 분포의 현상태만 나열해 둔다. 

RFM 세그먼트 활용 방법

간단하게는 RFM세그먼트를 약 3가지로 활용할 수 있을 것으로 기대할 수 있습니다.

현재 사업의 상태를 파악할 수 있습니다.

• 비즈니스가 망해가고 있는지 잘되고 있는지 조치가 필요한지를 알 수 있습니다.

비즈니스 개선을 위해서 집중해야 할 세그먼트를 알아낼 수 있고 세그먼트를 공략하기 위한 캠페인 진행 방법을 선택할 수 있습니다.

• 어떤 세그먼트에 문제가 있는지? 고객 리텐션이 필요한지, 이탈 방지가 필요한지, 신규 고객 입수가 필요한지, 기존 고객의 구매 활성화가 필요한지 등
• 위의 해석에 따라 캠페인 상품을 깔 맞춰서 제안할 수 있고 진행을 시도할 수 있다.

역으로 특정 캠페인에 적합한 세그먼트를 찾아내서 데이터 교환으로 활용할 수 있습니다.

• 어떤 업체의 어떤 세그먼트는 어떤 다른 업체에게는 좋은 세그먼트가 될 수 있다.
• 통신사에서 요금제를 새로 구매한 고객 세그먼트는 핸드폰 악세사리를 판매하는 광고에 활용한다던가 (이런 것을 스토리라인 캠페인이라고 부름)

참고 자료

• https://docs.exponea.com/docs/rfm-segmentation
• https://www.crossengage.io/rfm-model-dynamic-targeting-with-marketing-automation/
• https://www.barilliance.com/rfm-analysis/
• https://www.sciencedirect.com/science/article/pii/S1319157818304178
• https://www.putler.com/rfm-analysis/
• https://m.blog.naver.com/PostView.nhn?blogId=bestinall&logNo=221274298234&proxyReferer=https%3A%2F%2Fwww.google.com%2F

허핑페이스에 공개되었다고 합니다.

제목대로 영어로 생성할 이미지에 대한 설명을 적으면 생성을 해줍니다.

이런 종류의 AI는 이미 이전에도 많이 나와있습니다만 이 AI는 품질이 상당히 좋다는 평가입니다.

실제로도 가능하니 테스트 해보세요.

🔗접속주소: https://huggingface.co/spaces/stabilityai/stable-diffusion

Python에서 MySQL의 DB결과를 가져올 때

cursor.fetchall()를 사용하면 MySQL결과는 보통 리스트(list) 타입으로 가져오게 되서 쿼리에서 선택한 컬럼의 번호를 주고 꺼내와야 합니다.

컬럼이 몇개 안되면 괜찮지만 컬럼이 많거나 쿼리가 복잡하면 꺼내와서 짝을 맞추는 것이 어려우니 딕셔너리 타입으로 받으며 좋습니다.
보통은 다음과 같이 하지만

rows = cursor.fetchall()
for row in rows:
  id = row[0]
  name = row[1]
  print(id, name)

딕셔너리로 사용하기는 다음과 같이 쓰는 것을 말합니다.

rows = cursor.fetchall()
for row in rows:
  id = row['id']
  name = row['name']
  print(id, name)

다음과 같이 cursor를 생성할 때 옵션을 지정하면 쓸 수 있습니다.

import pymysql
connection = pymysql.connect(db="test")
cursor = connection.cursor(pymysql.cursors.DictCursor)
cursor. Execute("SELECT ...")

위의 단점은 데이터를 가져올 때 딕셔너리에 키를 다 넣으므로 데이터의 사이즈가 커진다는 것입니다 경우에 따라서 복잡하더라도 필드의 순번으로 데이터를 꺼내오는 것이 나은 경우가 있습니다.

무분별하게 사용하지 않도록 고민은 한 번 해야합니다.