합성소비자와 실제 소비자, 응답이 정말 비슷한지 어떻게 확인할까

합성소비자(Synthetic Consumer) 기술의 핵심은 합성소비자가 내놓은 응답이 실제 소비자의 응답과 얼마나 비슷한지 검증하는 데 있습니다. 해외 논문이나 기업은 두 응답의 유사성을 비교할 때 주로 스피어만 상관계수(Spearman Correlation)를 씁니다.

인텔리시아는 더 꼼꼼하게 검증하기 위해, 응답의 여러 특성을 반영하는 다섯 가지 지표를 함께 씁니다. 이 글에서는 그 지표들을 하나씩 설명합니다.

종합 유사도(CSI)를 이루는 다섯 가지 지표

설문의 모든 문항에서, 합성소비자와 실제 소비자가 각 보기를 고른 비율이 얼마나 다른지 분석해 유사도를 잽니다.

1. JS 유사도 (Jensen-Shannon Similarity)

“응답 분포의 모양이 얼마나 같은가?”

합성소비자의 응답 분포가 실제 소비자의 응답 분포와 얼마나 닮았는지 잽니다. 예전에 쓰이던 방식(KL 발산)의 단점을 보완해, 두 분포가 닮은 정도를 0과 1 사이 숫자로 알기 쉽게 나타냅니다. 값이 높을수록 합성소비자가 한쪽으로 치우치지 않고 실제 사람들의 전체 응답 분포를 가깝게 재현했다는 뜻입니다.

2. 스피어만 상관계수 (Spearman Correlation)

“보기 사이의 순위를 맞혔는가?”

응답의 구체적인 수치보다 ’순위’가 맞는지 보는 지표입니다. 소비자 조사에서는 정확한 응답 비율만큼이나 “A보다 B를 더 좋아한다”는 서열이 중요한 경우가 많습니다. 스피어만 상관계수는 합성소비자가 제품이나 속성 사이의 우열과 선호 순위를 얼마나 잘 따라갔는지 평가하는 데 알맞습니다.

3. 피어슨 상관계수 (Pearson Correlation)

“수치가 움직이는 방향과 크기가 같은가?”

두 변수의 선형 관계를 보는 가장 대표적인 통계 지표입니다. 실제 소비자의 응답률이 높은 보기는 합성소비자도 높게, 낮은 보기는 낮게 답하는지 봅니다. 스피어만이 ’순서’를 본다면 피어슨은 ’값의 추세’를 봅니다. 예를 들어 실제 소비자의 선택 비율이 10%에서 20%로 늘 때 합성소비자도 그만큼 늘어나는지 확인합니다. 이 점수가 높다면 합성소비자가 실제 소비자의 응답 변화를 그대로 따라가고 있다는 뜻입니다.

4. 1 − MAE (평균 절대 오차를 정확도로 바꾼 값)

“평균적으로 오차가 얼마나 작은가?”

평균 절대 오차(MAE)는 예측값과 실제값의 차이가 평균 얼마인지 나타냅니다. 이 오차를 ’정확도’로 바꿔(1에서 빼서) 씁니다. 합성소비자의 응답이 실제 소비자 응답과 평균적으로 얼마나 가까운지 바로 보여 줍니다.

5. 1 − RMSE (평균 제곱근 오차를 정확도로 바꾼 값)

“크게 빗나간 답 없이 정밀한가?”

평균 제곱근 오차(RMSE)는 오차를 제곱해서 계산하므로, 큰 오차가 하나라도 있으면 값이 크게 뜁니다. 이를 정확도로 바꿔 쓰면, 평균만 비슷한 것이 아니라 ’실제와 동떨어진 엉뚱한 응답’이 얼마나 적은지 알 수 있습니다. 이 값이 높다면 합성소비자가 전반적인 패턴을 맞출 뿐 아니라 튀는 값 없이 정밀하게 답했다는 뜻입니다.

사람끼리 같은 조사를 두 번 하면 얼마나 비슷할까

이를 확인하려고 120명이 참여한 실제 소비자 조사 데이터를 썼습니다. 인구통계 특성을 똑같이 맞춘 두 그룹(60명씩)으로 무작위로 나눠, 같은 조사를 두 번 한 것처럼 놓고 비교했습니다.

그 결과 실제 사람끼리 비교한 종합 유사도(CSI)는 약 0.93이었습니다. 실제 소비자에게 같은 조사를 두 번 해도 응답이 100% 같을 수는 없고, 93% 정도 비슷하다는 뜻입니다.

인텔리시아는 이 지표들로 합성소비자가 실제 소비자의 응답 패턴에 최대한 가까워지도록 기술을 다듬고 있습니다.