AI 판독기 무료 사이트 5곳에 헌법 전문과 클로드 글을 넣어 봤어요

작년 11월 고려대 정보대학 건물에 대자보 한 장이 붙었어요. 교수진이 비대면 시험 부정행위가 드러나자 중간고사를 무효로 하고, 기말 과제는 "GPT킬러 5% 미만"으로 내라고 공지한 뒤였어요.

대자보를 쓴 학생은 문법이 완벽하고 논리적인 문장일수록 판독기가 AI 글로 오판하기 쉽다고 적었어요. 교수진 공지문을 판독기에 돌려 봤더니 기준을 넘는 6%가 나왔다고도 적었고요. 교수진은 며칠 뒤 사과하면서 평가 방식을 다시 검토하겠다고 알렸어요.

그로부터 1년, AI 판독기를 찾는 사람은 여전히 많아요. 검색창에 "AI 판독기"만 쳐도 "무료", "자소서"가 자동완성으로 따라붙고 무료 사이트가 줄줄이 뜨거든요. 그럼 이런 사이트에 사람 글을 넣으면 정말 사람이 썼다고 해 줄까요?

그래서 누가 썼는지 아는 글 네 편을 들고 다섯 곳을 직접 돌았어요. 🔍

판독기가 어떻게 점수를 매기는지는 몰라도 돼요. 사이트마다 화면에 뜬 숫자를 그대로 옮겼어요.

🧪 누가 썼는지 확실한 글 네 편

글쓴이를 확실히 알아야 판독기가 맞혔는지 틀렸는지 가릴 수 있으니까요.

1. 사람 1. 제가 2021년에 쓴 블로그 글 999자. 챗GPT가 나오기 1년도 더 전에 쓴 글이라 AI가 손댈 수 없었어요.
2. 사람 2. 1987년 헌법 전문 433자. 국가법령정보센터에 올라 있는 원문 그대로예요. AI가 없던 시절에 사람이 쓴 글로는 이보다 확실한 게 없죠.
3. 클로드 1. 이 블로그 다른 글의 클로드 초안 957자. 오늘 발행한 앤트로픽 상장 신고서 글을 쓰면서 클로드가 맨 처음 내놓은 해요체 초안이에요.
4. 클로드 2. 클로드가 쓴 마케팅 직무 자소서 620자. "저는 데이터를 기반으로 고객의 마음을 움직이는 마케터가 되고자 귀사에 지원하게 되었습니다"로 시작하는, 어디서 본 듯한 자소서예요.

판독기는 로그인 없이 결과가 바로 뜨는 곳만 썼어요. 무료로 한번 써 보려는 사람이 실제로 거치는 길을 그대로 밟아 보고 싶었거든요. 사이트마다 글은 한 번씩만 넣었고, 저스트던만 숫자를 다시 확인하려고 두 번 넣었어요.

1판. 자소메이커, 자소서만 보는 판독기

자소메이커에는 자소서 문항 답변을 넣어요. 로그인 없이 하루 세 번, 300자가 넘으면 검사해 줘요. 점수랑 "의심 문장 몇 개"까지는 공짜예요. 어느 문장이 왜 걸렸는지까지 보려면 정밀분석으로 넘어가야 하는데, 가장 싼 게 크레딧 3개에 3,900원이더라고요.

한도가 세 번이라 클로드 초안은 못 넣고 나머지 세 편만 돌렸어요.

결과부터 보면 세 편 다 맞혔어요. 클로드 자소서는 96점으로 단번에 걸렸고 헌법 전문은 5점이었죠. 다만 페이지 안내에 자소서가 아닌 글은 점수가 흔들릴 수 있다고 적혀 있으니, 블로그 글 같은 걸 넣을 땐 기대를 조금 낮추는 게 좋겠어요.

2판. ZeroGPT, 검색하면 맨 위에 뜨는 곳

ZeroGPT는 가입 없이 1만 5,000자까지 받아 줘요. 첫 화면부터 모든 언어를 가장 높은 정확도로 지원한다고 내세우고요.

챗GPT가 나오기도 전에 쓴 제 글이 AI 90.2%래요.

클로드 글 두 편은 100%로 정확히 잡았어요. 헌법 전문도 0%, 사람 쪽이었고요. 제 블로그 글은 브랜드를 기획하면서 시장 규모를 조사하고 공장을 돌아다닌 얘기를 쓴 글인데, 있었던 일을 순서대로 적은 문장이 통째로 노랗게 칠해져 있더라고요. 사람 글 하나를 놓쳐서 네 편 중 세 편을 맞힌 거예요.

3판. Sapling, 한국어는 아직이라고 먼저 말한 곳

Sapling도 해외 판독기예요. 한국어 글을 넣으면 결과 밑에 영어 모델로 낸 점수라 덜 믿을 만하다는 안내가 붙어요.

써 보니 안내에 없는 점도 하나 보였어요. 1,000자 가까이 넣어도 앞쪽 230자 안팎만 검사하거든요. 잘랐다는 말도 없이, 검사가 끝나면 입력창에 앞부분만 남아 있어요.

헌법 전문이 AI 99.4%예요. 🤖

네 편 다 99%대로 AI 판정이에요. 클로드 글 두 편은 맞힌 셈이지만, 뭘 넣어도 99%가 나오는 판독기를 두고 맞혔다고 하긴 어렵죠. Sapling 스스로 말한 대로 한국어 글에는 안 쓰는 게 맞아 보여요.

4판. Undetectable AI, "사람처럼 고쳐 준다"는 곳

Undetectable AI는 이름 그대로 AI 글이 판독기에 안 걸리게 고쳐 주는 게 주력인 서비스예요. 판독기는 무료로 써 볼 수 있어요. 50개 넘는 언어를 지원하지만 영어가 가장 정확하대요. 검사를 마치면 결과보다 3일 무료 체험 가입 창이 먼저 떠서 화면을 가려요.

이번엔 반대예요. 클로드 초안이 사람 글로 나왔어요.

사람 글 두 편은 맞혔고 뻔한 자소서도 99%로 잡았어요. 빠져나간 건 해요체로 쓴 클로드 초안 하나였죠. 결과 밑에는 "Don't Risk Submitting AI Detected Text"(AI로 걸린 글을 그냥 내지 마세요)라는 문구와 사람 글처럼 고쳐 주는 버튼이 나란히 붙어 있었어요. 네 편 중 세 편을 맞혀 ZeroGPT와 같은 성적이에요.

5판. 저스트던, 한국어 페이지를 둔 곳

저스트던은 한국어 페이지가 따로 있고 로그인하지 않아도 결과를 보여 줘요. 화면 위쪽을 보면 월 $19.99 자동 갱신 구독 서비스라는 고지가 있어요.

헌법 전문은 처음 넣었을 때 76%, 두 번째엔 88% AI 콘텐츠였어요. 바로 옆엔 "인공지능 제거" 버튼이 있었고 글 위로는 "완전히 사람이 작성한 것으로 만들어야 할까요? 예, AI 제거" 창이 떴어요.

같은 글을 넣었는데 숫자는 왜 바뀌었을까요?

궁금해서 검사 버튼을 누를 때 브라우저와 서버가 주고받은 내용을 저장해 봤어요. 헌법 전문을 넣었을 때 서버가 돌려준 값은 사람 100, AI 0이었어요. 제 블로그 글과 클로드 초안도 서버 응답은 AI 0이었는데, 화면에는 각각 85%, 92%가 떴고요.

페이지 코드를 열어 보니 이런 줄이 나왔어요.

L=(0,a.Z)(70,100)            // a.Z: Math.floor(Math.random()*(t-e+1))+e
aiDetectedLevel:L            // 결과 화면의 "N% AI 콘텐츠"로 넘어가는 값
score:realAiScore, scoreFake:L, visibleScore:n

70에서 100 사이 정수를 무작위로 하나 골라 결과 화면에 넘기는 코드예요. 페이지 설정도 서버가 돌려준 점수는 화면에 쓰지 않도록 되어 있었어요. 페이지가 분석 도구로 보낸 기록을 봐도 헌법 전문은 score 0, score_fake 88, visible_score 88로 값이 따로 찍혀 있더라고요.

다만 설명이 안 되는 부분도 남았어요. 클로드 자소서는 서버 응답이 88.57이었는데 화면에 뜬 숫자도 88%, 89%로 두 번 다 서버 값과 거의 같았거든요. 무작위로 뽑힌 숫자가 두 번 다 우연히 맞았을 수도 있고 다른 경로가 있었을 수도 있어요. "이중으로 확인되었습니다" 옆에는 다른 판독기 로고 세 개가 붙어 있었어요. 그런데 같은 서버 응답 안에서 다른 도구로 대조한 결과가 들어갈 칸은 두 번 다 비어 있었어요.

화면만 보면 네 편 다 AI예요. 다만 화면 숫자가 서버 응답과 달라서 맞힌 수를 셀 때는 아예 넣지 않았어요.

🏁 네 편을 다 맞힌 판독기는 없었어요

10월 28일 오후에 로그인하지 않은 상태에서 헤드리스 브라우저로 사이트마다 한 번씩(저스트던은 두 번) 넣었어요. 숫자는 화면에 뜬 AI 비율이고 50을 넘으면 AI로 판정한 걸로 셌어요. GPTZero는 검사 요청이 아예 나가지 않았고 QuillBot과 Copyleaks는 보안 확인 화면을 넘지 못했어요. 워드바이스와 GPT킬러는 로그인해야 검사할 수 있어서 넣지 못했어요.

결과를 나란히 놓고 보니 세 가지가 눈에 띄었어요.

뻔한 자소서는 어디서든 걸렸어요. "데이터를 기반으로 고객의 마음을 움직이는 마케터", "제가 추구하는 마케팅 철학과 깊이 맞닿아 있습니다" 같은 문장은 다섯 곳 모두 AI로 봤죠. 해요체로 풀어 쓴 클로드 초안은 오히려 한 곳에서 사람 글로 통과했고요.

사람 글을 AI로 모는 일도 생각보다 잦았어요. 제 블로그 글은 판정을 센 네 곳 중 두 곳에서, 헌법 전문은 한 곳에서 AI로 나왔거든요. 대자보가 말한 "문법이 완벽하고 논리적인 문장일수록 오판한다"는 주장과도 겹치는 결과예요.

그리고 숫자가 아무리 정밀해 보여도 어떻게 나온 값인지는 화면만 봐서는 알 길이 없어요. 99.4%는 한국어를 지원하지 않는 모델이 앞 230자만 보고 낸 값이었고, 헌법 전문의 88%는 서버가 돌려준 값과 다른 숫자였죠.

오픈AI도 2023년에 직접 만든 판독기를 반년도 못 채우고 내렸어요. 영어 평가용 글에서 AI 글은 26%만 맞혔고 사람 글은 9%를 AI로 잘못 봤대요. 1,000자가 안 되는 글이나 영어가 아닌 언어에서는 더 불안정했다고 해요.

🙋 판독기 점수로 내 글을 의심받았다면

저라면 다른 판독기에서 낮은 점수를 받아 가지는 않겠어요. 이번 실험에서 봤듯 사이트마다 점수가 다르니 상대가 "그 사이트는 못 믿는다"고 하면 끝이거든요. 대신 이런 걸 챙겨 두면 든든해요.

1. 구글 문서처럼 버전 기록이 남는 도구로 쓰면 몇 시에 어떤 문장을 고쳤는지 보여 줄 수 있어요. 그보다 확실한 근거는 없어요.
2. 메모나 개요, 참고한 자료 목록처럼 쓰기 전에 만든 것들도 지우지 않고 두는 편이 좋아요.
3. 의심하는 쪽에 어느 판독기에서 몇 점이 나왔는지 꼭 물어보는 게 좋아요. 한국어를 지원하지 않는 판독기도 있으니까요.
4. 자소서라면 내 경험에서 나온 숫자와 장면이 들어가야 해요. 이번에 다섯 곳 모두에서 걸린 자소서는 누구나 쓸 법한 문장으로 채워져 있었어요.

자주 묻는 질문