※ 이 글에는 제휴 마케팅 링크가 포함될 수 있으며, 구매 시 수수료를 받을 수 있습니다.
당신이 3년째 구독하던 뉴스레터가 있다. 매주 목요일 아침, 그 사람 특유의 문장 리듬으로 도착하던 글. 그런데 어느 날 글 옆에 작은 버튼이 하나 생겼고, 눌러보니 이렇게 뜬다. “이 글은 82% AI로 작성된 것으로 추정됩니다.”
당신은 배신감을 느낄까, 아니면 “그래서 뭐?“라고 생각할까. Substack은 2026년 7월 21일, 바로 그 질문을 400만 독자의 손에 쥐여줬다.
탐지기가 아니라 ‘정직 버튼’
먼저 오해를 걷어내자. 이 도구는 표절 검사기처럼 작동하는 심판이 아니다.
Substack이 AI 탐지 스타트업(https://www.pangram.com/blog/all-about-false-positives-in-ai-detectors)과 제휴해 내놓은 이 기능은, 100자를 초과하는 모든 게시물·노트·답글·댓글에 대해 “인간이 썼는지, AI가 썼는지” 비율 추정치를 보여준다. 웹과 iOS에서 먼저 열렸고, 안드로이드는 나중이다. (출처:(https://www.engadget.com/2220064/substack-is-adding-an-ai-detection-feature/))
여기까지만 보면 “AI 색출기"처럼 들린다. 그런데 설계를 뜯어보면 정반대의 냄새가 난다.
- 결과는 독자가 직접 요청할 때만 뜬다. 모든 글에 빨간 딱지가 자동으로 박히는 게 아니다.
- 창작자는 자기 글의 탐지 기능을 꺼버릴 수 있다.
- 창작자는 발행 전 초안에 Pangram을 미리 돌려볼 수 있고, 결과가 틀렸다 싶으면 그 스캔을 신고·삭제할 수 있다.
처벌 도구라면 이렇게 만들 리가 없다. 도망갈 문이 세 개나 뚫려 있으니까. Substack이 TechCrunch에 한 설명이 그래서 중요하다. 목적은 AI 사용을 금지하거나 벌하는 게 아니라, 창작자가 **‘이 글을 나는 이렇게 만들었다(how I make this)’**라고 스스로 밝히도록 유도하는 것. 실제로 AI 사용 방식을 직접 공개하는 ‘작가 노트’ 공간까지 새로 만들었다.
즉 이건 탐지기의 외피를 쓴 정직 유도 장치다. “숨기면 걸린다"가 아니라 “어차피 보일 거, 먼저 말하는 게 낫다"는 넛지.
그런데, 이 탐지기는 얼마나 정확한가
100% 정확도를 주장하는 반면, 시중의 흔한 AI 탐지기는 6590%에 머문다.100% 정확도를 주장하는 반면, 시중의 흔한 AI 탐지기는 6590%에 머문다.
넛지든 뭐든, 옆에 뜨는 숫자가 엉터리면 그건 넛지가 아니라 흉기다. “82% AI"라는 딱지 한 줄이 3년 쌓은 신뢰를 하루 만에 무너뜨릴 수 있으니까.
Pangram은 자신만만하다. University of Chicago Booth의 독립 검증에서 대부분의 AI 모델에 대해 100% 정확도를 기록했고, 99.8% 아래로 떨어진 적이 없으며, 사람 글을 AI로 잘못 판정하는 오탐률(false positive)은 약 **1만 분의 1(0.01%)**이라고 주장한다. (출처:(https://www.pangram.com/blog/all-about-false-positives-in-ai-detectors))
숫자만 보면 압도적이다. 시중의 흔한 AI 탐지기들이 65~90% 정확도에서 헤매고, 반복적인 문장·수동태·정형화된 문체를 이유로 멀쩡한 사람 글을 AI로 오판하는 것과 비교하면 딴 세상 성능처럼 들린다.
그런데 나는 이 숫자 앞에서 손뼉 대신 눈썹을 올린다. 이유는 셋이다.
첫째, ‘100%‘는 벤치마크의 언어지 현실의 언어가 아니다. 통제된 데이터셋에서의 정확도와, 비영어권 이민자가 쓴 어색한 영어나 특정 장르의 정형화된 문체 앞에서의 정확도는 같지 않다. 실제로 다수의 탐지기가 비영어권 필자에게 불리하게 편향된다는 문제는 오래된 지적이다. 1만 분의 1의 오탐률이라 해도, Substack에 매일 올라오는 게시물 수를 곱하면 매일 억울한 누군가가 나온다.
둘째, 우회가 너무 쉽다. AI가 쓴 문장을 사람이 조금 손보거나, 문장 구조와 어휘를 바꾸거나, 패러프레이즈 도구를 한 번 통과시키면 탐지 성능은 뚝 떨어진다. 정직하게 AI를 쓴 사람은 딱지가 붙고, 숨기려고 작정한 사람은 5분만 다듬으면 빠져나간다. 정직한 사람만 벌받는 구조의 고전적 함정이다.
셋째, 창작자가 아예 끌 수 있다. 여기가 이 도구의 가장 큰 논리적 균열이다. AI 사용을 숨기고 싶은 사람은? 그냥 탐지 기능을 비활성화하면 된다. 스캔을 우회할 필요조차 없다. 스위치를 내리면 끝이다.
셋을 합치면 드러나는 진짜 그림
이 세 가지 한계는 각각 보면 흠결이지만, 합쳐놓고 보면 오히려 Substack의 의도를 증명한다.
만약 Substack이 진짜로 AI를 잡아 처벌하고 싶었다면, opt-out 스위치를 달 리가 없다. 결과를 강제로 노출했을 것이고, 우회를 막는 데 사활을 걸었을 것이다. 그런데 그러지 않았다. 도망갈 문을 일부러 열어뒀다.
왜? 탐지 군비경쟁은 이길 수 없는 싸움이기 때문이다. 탐지기가 정교해지면 우회 도구도 정교해진다. 생성 모델이 좋아질수록 “AI다움"의 흔적은 옅어진다. 이 경주의 끝은 없고, 끝이 없는 경주에 회사의 신뢰를 거는 건 어리석다.
그래서 Substack은 영리하게도 경주 자체를 바꿔버렸다. **“AI를 썼느냐"가 아니라 “AI를 썼다고 말했느냐”**로. Jane Friedman의 분석이 짚었듯, 창작자가 끌 수 있다는 사실은 버그가 아니라 메시지다. “우리는 너를 감시하지 않는다. 다만 독자에게 정직할 기회를 준다.”
숫자가 완벽하지 않아도 된다. 82%가 사실은 60%였어도 상관없다. 이 도구의 목적은 판결이 아니라 대화를 시작시키는 것이니까. 독자가 버튼을 누르는 순간, “이 창작자는 AI를 어떻게 쓰지?“라는 질문이 태어난다. 그 질문이 창작자를 ‘작가 노트’로 밀어 넣는다. 그게 전부이고, 그거면 충분하다.
그럼 창작자는 무엇을 해야 하나
만약 당신이 Substack에서 글을 쓴다면, 이 도구를 위협이 아니라 신호로 읽는 게 맞다.
AI를 아예 안 쓴다면 신경 쓸 것 없다. 다만 오탐 1만 분의 1에 걸리는 불운은 대비해두자 — 발행 전 초안 사전 검사 기능으로 미리 돌려보고, 어이없는 점수가 나오면 신고·삭제할 수 있다는 것만 기억하면 된다.
AI를 도구로 쓴다면 — 초안, 리서치 정리, 번역, 교정 — 숨기지 말고 ‘작가 노트’에 한 줄 적는 편이 낫다. “아이디어와 구조는 내가, 초벌 번역은 AI가"라고. 탐지 점수가 애매하게 뜨는 것보다, 당신 입으로 먼저 밝힌 한 문장이 신뢰에 훨씬 크게 기여한다. 요즘 독자는 AI 사용 자체보다 숨긴 사실에 배신감을 느낀다.
참고로 발행 전 자기 점검을 습관화하고 싶다면, Pangram은 Substack 밖에서도 단독으로 쓸 수 있다. 월 약 $20에 600크레딧(크레딧당 1,000단어) 수준이고, 하루 4크레딧짜리 무료 체험도 있다. (출처:(https://detectarena.ai/tools/pangram)) 다만 Substack 안에서 독자가 쓰는 탐지 기능 자체는 무료라, 대부분의 창작자에게 별도 구독은 과잉일 수 있다.
남는 질문 하나
이 도구가 바꾸는 건 기술이 아니라 규범이다. 지금까지 AI 글쓰기는 “안 걸리면 그만"의 영역이었다. Substack은 그 영역에 작은 조명 하나를 켰다. 밝기는 흐릿하고, 스위치도 손 닿는 곳에 있다. 그럼에도 조명이 켜졌다는 사실 자체가, 이제 어둠 속에서 쓰던 사람들에게 미묘한 압력을 만든다.
완벽한 탐지기는 앞으로도 오지 않을 것이다. 하지만 어쩌면 우리에게 필요한 건 완벽한 탐지기가 아니라, “먼저 말하는 게 이득"인 판인지도 모른다. Substack은 그 판을 깔았다. 이제 공은 창작자에게 넘어갔다 — 스위치를 내릴 것인가, 노트를 쓸 것인가.