챗지피티가 제대로 아는 치과, 여덟 곳 중 한 곳뿐이었습니다

여덟 곳이 어디에 모여 있었나

여덟 곳 중 일곱 곳이 31점에서 50점 사이에 있습니다. 한 구간에 거의 다 몰려 있고, 그 안에서도 대부분 30점대입니다.

같은 여덟 곳의 검색 점수와 비교하면

같은 여덟 곳의 검색 점수는 중앙값 62점이고 가장 높은 곳은 84점이었습니다. 여덟 곳 전부 검색 쪽이 AI 답변 쪽보다 높았고, 평균 격차는 21점이었으며, 예외가 한 곳도 없었습니다.

홈페이지가 부실해서 생긴 결과가 아닙니다. 검색으로는 평균 이상을 받는 곳들이 AI 쪽에서는 절반에 못 미칩니다.

50점을 넘긴 한 곳은 무엇이 달랐나

그 한 곳도 56점입니다. 특별한 작업을 한 게 아니라 다른 항목들이 고르게 받쳐준 결과였습니다. 진료마다 페이지가 나뉘어 있었고, 병원 정보가 이미지가 아니라 글자로 적혀 있었고, 글을 올릴 자리도 갖춰져 있었습니다.

기계용 정보 표기 칸은 그 곳도 30점을 넘기지 못했습니다.

다시 말해 56점은 그 칸을 채워서 얻은 점수가 아니라, 나머지를 잘 갖춰 얻은 점수입니다. 그 칸까지 채우면 어디까지 오르는지는 이 표본으로는 알 수 없습니다.

이 숫자를 어떻게 읽어야 하나

“여덟 곳 중 한 곳만 절반을 넘겼다”는 문장은 두 가지로 읽힙니다.

하나는 다들 못하고 있다는 읽기입니다. 이건 맞습니다.

다른 하나는 지금은 낮은 점수로도 앞설 수 있다는 읽기입니다. 이것도 이번 표본 안에서는 맞습니다. 56점이 여덟 곳 중 가장 높은 자리였으니까요.

다만 두 문장 모두 여덟 곳 안에서만 성립합니다. 업계 전체가 그렇다고는 말할 수 없고, 표본이 스무 곳을 넘으면 기준을 다시 맞출 생각입니다.