생성형 AI 답변은 같은 질문에도 매번 조금씩 다르게 나오므로, 한 번 질문해서 얻은 결과로 브랜드 노출을 판단하면 안 됩니다. 측정 조건을 고정하고, 같은 질문을 여러 번 반복한 뒤, 개별 답변 대신 비율과 추세로 읽어야 결과를 믿을 수 있습니다. 측정 결과를 의사결정에 쓰려면 측정 방식도 함께 기록하고 공유해야 합니다.
생성형 AI 답변은 왜 같은 질문에도 매번 달라지나요?
대규모 언어 모델은 다음에 올 단어를 확률로 고르는 방식으로 문장을 만듭니다. 그래서 질문이 같아도 고르는 표현, 추천하는 브랜드의 순서, 인용하는 출처가 바뀔 수 있습니다. 여기에 웹 검색을 함께 쓰는 서비스라면 검색 시점의 색인 상태, 사용자 위치와 언어 설정, 대화 이력, 모델 업데이트가 더해져 변동 폭이 더 커집니다.
생성형 AI의 위험을 관리하는 일은 공공 연구기관도 다루고 있습니다. 미국 국립표준기술연구소(NIST)는 AI 위험관리 프레임워크의 동반 자료로 생성형 AI 위험 관리 프로파일(NIST AI 600-1)을 발표했습니다. 브랜드 담당자는 두 가지를 구분해서 보아야 합니다. 첫째, 생성형 AI는 사실과 다른 내용을 그럴듯하게 만들어 낼 수 있으므로 답변 하나하나를 사실로 받아들이지 말고 브랜드 공식 정보와 대조해야 합니다. 둘째, 앞에서 설명한 확률적 생성 방식 때문에 같은 질문에도 답변이 달라지므로 한 번의 결과가 아니라 반복 관찰로 경향을 읽어야 합니다.
측정 결과의 신뢰도는 어떤 조건에서 높아지나요?
측정 결과가 믿을 만하다는 것은 같은 조건에서 다시 측정했을 때 비슷한 값이 나온다는 뜻입니다. AI를 평가할 때는 흔히 타당성과 신뢰성을 기준으로 삼으며, 이 기준은 AI를 관찰하는 측정 작업에도 적용할 수 있습니다. 무엇을 측정하는지가 분명해야 하고(타당성), 반복해도 결과가 크게 흔들리지 않아야 합니다(신뢰성).
실무에서는 답변을 흔드는 요인을 먼저 나열하고, 요인마다 통제하는 방법을 정해 둡니다.
| 변동 요인 | 결과에 미치는 영향 | 통제 방법 |
|---|---|---|
| 질문 문구 | 낱말 하나만 달라도 추천 대상과 인용 출처가 바뀜 | 질문 원문을 목록으로 고정하고 버전을 관리 |
| 대화 이력·로그인 상태 | 이전 대화와 개인화 설정이 답변에 반영됨 | 새 대화 창, 같은 계정 상태에서 측정 |
| 위치·언어 설정 | 지역에 따라 노출되는 브랜드와 출처가 달라짐 | 측정 지역과 언어를 기록하고 매번 같게 유지 |
| 모델·기능 버전 | 업데이트 전후로 답변 경향이 바뀜 | 측정 일자와 모델·모드 정보를 함께 저장 |
| 확률적 생성 | 같은 조건에서도 문장과 순서가 달라짐 | 질문마다 여러 번 반복해 비율로 집계 |
모든 요인을 완전히 없앨 수는 없습니다. 중요한 것은 어떤 조건에서 측정했는지 기록해 두는 일입니다. 조건이 남아 있으면 수치가 바뀌었을 때 브랜드 콘텐츠의 변화 때문인지, 측정 환경의 변화 때문인지 나누어 볼 수 있습니다.
반복 횟수와 질문 수는 어떻게 정해야 할까요?
모든 업종에 맞는 정답 횟수는 없습니다. 대신 결과가 안정되는 지점을 직접 확인하는 방식을 권합니다. 절차는 다음과 같습니다.
- 예비 측정: 대표 질문 몇 개를 골라 같은 조건에서 반복 질문하고, 횟수가 늘 때마다 브랜드 언급 비율이 어떻게 바뀌는지 기록합니다.
- 안정 지점 확인: 횟수를 더 늘려도 비율이 거의 바뀌지 않는 구간이 나오면 그 횟수를 기본값으로 정합니다.
- 질문군 구성: 브랜드명 질문, 카테고리 추천 질문, 문제 해결 질문, 비교 검토 질문처럼 구매 단계별로 질문을 나누고, 질문군마다 여러 문항을 둡니다. 질문 하나에 기대지 않아야 문구 변화에 따른 왜곡이 줄어듭니다.
- 측정 주기 고정: 같은 요일, 같은 방식으로 반복 측정해 추세를 쌓습니다.
숫자를 보고할 때는 비율과 함께 반복 횟수를 꼭 적습니다. 반복 횟수가 적은 문항에서 생긴 큰 변화는 우연일 수 있으므로, 결론을 내기 전에 다음 측정 주기까지 지켜보는 편이 안전합니다.
측정 결과를 해석할 때 무엇을 구분해야 하나요?
믿을 만한 수치를 얻었다면 이제 수치가 무엇을 뜻하는지 구분해야 합니다. 답변에 브랜드 이름이 나오는 '언급'과 브랜드의 웹페이지가 근거로 연결되는 '인용'은 서로 다른 지표입니다. 언급은 많지만 인용이 적다면 AI가 브랜드를 알고는 있지만 브랜드의 자체 콘텐츠를 근거로 쓰지는 않는다는 신호입니다. 반대로 인용은 있는데 언급 맥락이 정확하지 않다면 콘텐츠의 설명 방식을 점검해야 합니다.
이런 구분을 질문 단위로 정리해 주는 도구를 쓰는 방법도 있습니다. 예를 들어 OPTIGEO는 ChatGPT·Perplexity·구글 AI 모드 같은 생성형 AI 답변에서 브랜드가 얼마나 언급되고 인용되는지 측정하고, 개선이 필요한 질문과 콘텐츠 방향을 제안하는 GEO 서비스입니다. 도구를 쓰든 직접 측정하든, 측정 조건과 반복 방식이 공개되는지를 확인해야 결과를 사내에서 검증할 수 있습니다.
측정 과정의 투명성은 AI 분야에서 꾸준히 강조되는 가치와도 맞닿아 있습니다. 국내에서는 과학기술정보통신부 소관 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」이 생성형 AI 사업자에게 결과물이 생성형 AI로 만들어졌다는 사실을 표시하도록 하는 투명성 확보 의무를 두고 있습니다. 법적 의무는 아니지만 같은 투명성 취지에서 측정 방식과 한계를 문서로 남겨 두는 것이 좋습니다.
- 언급률: 반복 측정한 답변 가운데 브랜드 이름이 나온 비율
- 인용률: 답변 근거로 브랜드 소유 페이지가 연결된 비율
- 맥락 정확도: 언급된 내용이 브랜드 공식 정보와 일치하는지 여부
- 변동 폭: 같은 조건에서 측정 주기 사이에 값이 흔들리는 정도
자주 묻는 질문
한 번 질문했는데 브랜드가 나오지 않았다면 노출이 없는 것인가요?
그렇게 판단하기는 이릅니다. 생성형 AI 답변은 확률적으로 만들어지므로 같은 질문을 같은 조건에서 반복해 비율로 확인해야 합니다. 반복 측정에서도 계속 나오지 않을 때 개선 대상으로 분류하는 편이 정확합니다.
측정 수치가 갑자기 크게 바뀌면 무엇부터 확인해야 하나요?
먼저 질문 문구, 위치·언어 설정, 측정 일자의 모델 업데이트 여부처럼 측정 조건이 바뀌었는지 확인합니다. 조건이 같았다면 브랜드 콘텐츠의 변경이나 외부 출처의 변화를 살펴봅니다. 원인을 가린 뒤에도 다음 측정 주기에서 같은 변화가 이어지는지 확인하고 나서 대응하는 것이 안전합니다.
여러 AI 서비스의 수치를 하나로 합쳐서 봐도 되나요?
서비스마다 답변 방식과 출처를 고르는 기준이 다르므로 먼저 서비스별로 나누어 보는 것을 권합니다. 합산 지표는 전체 추세를 보고할 때 보조로 쓰고, 개선 방향은 서비스별·질문별 결과를 근거로 정합니다.