AI 콘텐츠 감지 도구 Pangram 리뷰 — 정확도의 근거, 무너지는 지점, 그리고 한국어 (2026-09 기준)

이 글의 범위와 한계 (먼저 읽어주세요)
제휴 링크가 없습니다. 본문의 모든 외부 링크는 제조사 공식 페이지·arXiv·API 문서이며, 수수료를 받지 않습니다.
직접 결제해서 써본 사용기가 아닙니다. 제조사 공개 문서와 인용 가능한 평가 자료를 읽고 정리한 문서 기반 리뷰입니다. 스크린샷도, 자체 검사 결과도 없습니다. 그래서 “써보니 좋더라” 류의 문장은 이 글에 한 줄도 없습니다.
가격·수치는 2026-09-02 확인 기준입니다. 요금제는 수시로 바뀌므로 결제 전 가격 페이지를 직접 확인하세요.
Pangram 단일 도구 리뷰입니다. GPTZero·Originality.ai·Turnitin·Copyleaks 등과의 직접 비교 시험은 하지 않았습니다. 대신 마지막에 다른 도구를 스스로 비교할 때 쓸 체크리스트를 넣었습니다.

책상 위에 종이 한 장이 놓인다. 맨 위 빨간 상자 안에 숫자 하나 — 97%. 그 아래로는 노랗게 물든 문단들이 이어진다. 이 종이를 받은 사람은 사흘 밤을 앉아 문단 순서를 세 번 갈아엎던 감각을 떠올리고, 이 종이를 내민 사람은 200건 중 한 건을 처리했을 뿐이다. 두 사람 사이에 놓인 건 확률값 하나다. 그런데 그 방 안에서 그것은 이미 판결문처럼 읽힌다. 종이가 두껍고, 숫자가 크고, 빨갛기 때문에.

이 글의 주장은 하나다. AI 탐지기의 정확도는 도구의 속성이 아니라 데이터셋의 속성이다. 그래서 Pangram의 좋은 숫자는 진짜지만, 그 숫자에는 항상 “어떤 글로 쟀는가"라는 꼬리표가 붙어 다니고 — 한국어 원고에는 그 꼬리표가 아예 없다. 그 빈칸을 모르고 이 도구를 판사석에 앉히면, 좋은 분류기 하나가 나쁜 판사가 된다.

숫자는 좋다. 문제는 그 숫자가 어디서 왔는가다

Pangram Labs는 딥러닝 분류기를 대량의 사람 글로 학습시킨 AI 텍스트 탐지기다. 회사가 공표하는 오탐률(사람이 쓴 글을 AI로 오판하는 비율)은 약 1만 분의 1(제조사 문서). 기술 보고서는 학생 글·창작·과학 논문·뉴스·이메일 등 10개 도메인과 8개 오픈/클로즈드 LLM에서 평가해 DetectGPT 및 상용 도구 대비 오류율이 38배 이상 낮다고 보고한다(arXiv 2402.14873).

제3자 평가로 소개되는 것이 셋 있다.

시카고대 Becker Friedman Institute 워킹페이퍼 — 2020년 이전에 쓰인 사람 글 1,992건과 AI 생성 1,992건으로 시험, 오탐률 0.001·미탐률 0.01 보고
브뤼셀자유대(VUB) — 4,000단어 이상 논문 160편(사람 ESL/AI/혼합/휴머나이즈)으로 도구 4종 비교, Pangram이 완전 AI 텍스트 97.5% 탐지·오탐 0%
메릴랜드대 — 전체 탐지 정확도 98.0~99.3%, 오탐률 2%

여기서 한 가지를 짚고 가야 한다. 이 세 수치의 출처 링크를 하나씩 따라가면 전부 같은 문 앞에서 멈춘다 — 제조사 자체 블로그의 요약 페이지 하나다. 평가를 수행한 주체는 제3자가 맞지만, 내가 읽은 것은 제조사가 고른 요약본이다. 원논문 PDF를 펼쳐 표를 대조하지 못했으므로 위 숫자는 2차 인용이고, 이 글에서 그렇게 표시한다.

제조사가 자기에게 가장 불리한 메릴랜드의 2%를 같은 페이지에 나란히 실어둔 건 신뢰를 얹어주는 대목이다. 하지만 정직해 보이는 것과 원문을 확인한 것은 다른 일이다. 검증하려면 BFI 워킹페이퍼 시리즈와 arXiv에서 저자·기관명으로 직접 찾아 원문 표를 여는 절차가 따로 필요하다.

같은 도구, 200배 차이 나는 성적표

회사가 말하는 0.01%와 메릴랜드가 잰 2%. 그 사이는 200배다.

이 간극을 “회사가 부풀렸다"로 읽으면 요점을 통째로 놓친다. 200배는 거짓말의 크기가 아니라 데이터셋의 크기다. 같은 저울에 다른 것을 올린 것이다. 어떤 글 뭉치를 가져다 재느냐에 따라 같은 모델이 0.01%짜리도 되고 2%짜리도 된다. 그러니 “오탐률 몇 %“라는 문장은 “어떤 글로 쟀는가"를 떼면 껍데기만 남는다.

퍼센트를 사람 수로 바꿔보면 껍데기가 아니라는 게 보인다. 아래는 실제 사건이 아니라 이해를 돕기 위한 가정 계산이다. 어떤 강의에서 제출물 1,000건을 돌린다고 하자. 오탐률 0.01%면 1만 건에 한 명꼴이니 대개 한 학기 내내 아무도 안 걸린다. 2%면 스무 명이다. 스무 명이면 강의실 한 줄이 통째로 근거 없이 지목된다. 같은 도구, 같은 버튼, 다른 데이터셋.

제조사는 자기 약점도 문서에 적어뒀다. 도메인마다 오탐률이 다르다 — 코드 문서·회의록·영화 대본은 0.0%인데 레시피는 0.23%, 시는 0.05%다. 데이터 나열, 스프레드시트, 템플릿 기반 글, 설명서처럼 형식이 정해진 글일수록 약하다. 짧은 글에는 아예 쓰지 말라고도 권고한다. 수백 단어를 넘겨야 제대로 작동하고, 불릿 목록이나 한 문장짜리 답변은 검사 대상이 아니다(제조사 문서).

당연한 일이다. “계란 2개, 소금 약간.” 이 여덟 글자에는 사람의 지문이 묻을 표면 자체가 없다. 누가 쓰든 같은 모양으로 굳는 문장이다.

한국어 원고에는 댈 자가 없다 — 이 글에서 가장 중요한 절

한국 독자가 가장 먼저 물어야 할 질문은 이것이다. “한국어 원고에도 작동하는가? 오탐률은 영어와 같은가?”

내가 공개 자료에서 확인한 범위 안에서는, 한국어 성능을 보고한 수치가 하나도 없다. 위에 인용한 세 건은 전부 영어다 — 시카고대는 영어 산문, VUB는 영어 학술 논문(비원어민 저자 포함), 메릴랜드대도 영어. 기술 보고서의 10개 도메인 역시 영어권 자료다. 그러니 0.01%든 2%든, 그 숫자를 한국어 블로그 글이나 한국어 과제물에 갖다 대는 것은 눈금이 지워진 자를 대는 일이다. 이 글에서 딱 한 문장만 가져간다면 이것이었으면 한다.

한국어에서 오탐이 더 나올 것으로 추정할 만한 이유는 몇 가지 있다. 측정이 아니라 추론이니 그렇게 읽어주시길 바란다.

학습 데이터 비중. 이런 분류기는 “사람 글의 통계적 지문"을 학습하는데, 영어 코퍼스가 압도적으로 많다. 한국어 사람 글 표본이 적을수록 분류기에게 한국어 사람 글은 낯선 손님이고, 낯선 것은 AI 쪽으로 밀려나기 쉽다.
비원어민 글에 대한 알려진 취약성. VUB 평가가 굳이 ESL(영어를 제2언어로 쓰는 저자) 논문을 표본에 넣은 것 자체가, 이 분야에서 비원어민 글의 오탐이 오래된 쟁점이라는 뜻이다. 한국어 사용자가 영어로 쓴 글이라면 이 위험은 그대로 온다.
번역을 거친 글은 특히 위험하다. 한국어로 초고를 쓰고 기계번역으로 영어를 만들면, 그 결과물에는 기계의 손자국이 짙게 남는다. 첫 글자부터 마지막 글자까지 사람이 생각해서 쓴 글인데도 그렇다.
문장이 굴절하는 방식이 다르다. 조사와 어미가 계속 갈리며 리듬을 만드는 한국어는 영어와 통계적 성질이 다르다. 영어 문장 위에서 깎아 맞춘 임계값이 그대로 옮겨 온다고 볼 이유가 없다.

그래서 실무 권고는 이렇다. 한국어 원고에 이 도구(혹은 어떤 탐지기든)를 들이려는 조직이라면, 벤더 수치를 믿지 말고 자체 오탐률을 직접 재라. 방법은 오후 반나절이면 끝난다. AI가 나오기 전에 쓰였거나 작성 과정을 확실히 아는 한국어 사람 글 50~100편을 모아 그대로 돌린다. 거기서 빨갛게 뜨는 개수가 당신 조직의 실제 오탐률이다. 이 수치 없이 한국어 원고에 판정을 내리는 건, 눈금 없는 자를 사람 등에 대고 키를 적어 넣는 일이다.

진짜 균열은 ‘혼합’에서 벌어진다

2026년 현재 실무에서 나오는 글의 다수는 순수한 사람 글도, 순수한 AI 글도 아니다. 초고는 내가 썼고, 문장은 모델이 다림질했고, 서론은 다시 내가 갈아엎은 글. 이게 표준이다.

이 지점을 다룬 연구로 arXiv 2603.20450이 자주 인용된다. 상용 2종을 포함한 탐지기 5종이 LLM으로 다듬은 텍스트를 ‘AI 생성’으로 오분류했고 이것이 허위 부정행위 고발로 이어질 수 있다는 내용으로 알려져 있다. 다만 이 글을 쓰는 시점에 나는 해당 arXiv 레코드의 제목·저자·게재처를 직접 확인하지 못했다. 서지 정보 없이 ID만 굴러다니는 인용은 그대로 믿을 것이 못 되므로 미확인 인용으로 표시하고 논지의 근거로 쓰지 않는다. 확인하려면 arXiv 페이지를 직접 열어 초록과 게재 이력을 보시라. 열리지 않으면 존재하지 않는 인용이며, 그 경우 이 문단은 삭제되어야 한다.

논지 자체는 그 인용이 없어도 선다. 제조사가 스스로 인정한 사실만으로 충분하기 때문이다. 탐지기는 “이 텍스트의 통계적 지문이 AI 산출물과 얼마나 닮았나"를 잰다. 사람이 쓴 초고를 AI가 매끄럽게 다듬으면 그 지문은 진짜로 AI 쪽으로 옮겨간다. 모델은 정확히 자기 일을 한 것이고, 그 출력을 “AI가 썼다"로 옮겨 적은 쪽은 우리다. 혼합 원고에 예/아니오를 요구하는 건 다 반죽된 밀가루 반죽을 손에 쥐고 밀가루냐 물이냐 대답하라고 다그치는 것과 같다. 반죽은 대답할 수 없다. 대답할 수 없는 게 반죽의 결함은 아니다.

Pangram도 이 한계 밖에 있지 않다. 회사는 내부 모델 몇 개를 거의 완벽하게 잡을 수 있었지만 오탐률이 같이 올라가서 그 방향을 포기했다고 밝혔고, 영어처럼 보이지 않을 만큼 뭉개진 텍스트는 알고리즘으로 잡기 어렵다고 인정한다(제조사 문서). 그물코를 좁히면 잔챙이까지 걸린다는 걸 알고 손을 뗐다는 뜻이다. 개인적으로는 이 한 문단이 98%라는 숫자보다 미덥다.

휴머나이저 대응 — 그리고 그 100%의 유통기한

AI 티를 지우는 우회 도구(휴머나이저)에 대해, Pangram 자체 시험에서 19종 대상 탐지 정확도는 90.3~100% 범위였고 Ahrefs·Ghost AI·Grammarly·Quillbot 산출물은 100%였다고 한다(제조사 문서).

단서가 셋 붙는다.

제3자 시험이 아니다. 자사 도구를 자사가 채점한 결과다. 앞의 대학 평가들과 같은 무게로 읽으면 안 된다.
유통기한이 있다. 휴머나이저는 탐지기를 피하도록 특별히 튜닝되고, 계속 갱신된다. 방충제와 벌레의 관계다. 2025년 8월의 100%가 오늘의 100%라는 보장은 없다.
재현이 안 된다. 19종의 목록, 표본 수, 사용 프롬프트, 원문 성격이 공개되지 않으면 제3자는 같은 시험을 다시 돌릴 수 없다. 다시 돌릴 수 없는 숫자는 주장이지 결과가 아니다.

실제 사용 절차

확인해둘 것: 아래는 제조사 공개 문서에 근거한 절차이고, 문서에 명시되지 않은 항목은 그렇다고 표시했다. 직접 결제해 화면을 캡처한 것이 아니므로 실제 UI는 다를 수 있다.

1) 계정 생성. pangram.com에서 가입한다. 무료 요금제는 결제수단 등록 없이 시작할 수 있고 하루 2,000단어 한도다. 도구가 내 원고에 어떻게 반응하는지 재보는 용도로는 충분하고, 실무용은 아니다.

2) 텍스트 투입. 웹 대시보드에 붙여넣거나 파일을 올린다. 공개 문서에서 확인되는 형식은 .docx와 일반 텍스트다. .pdf·.hwp(한글)·구글 문서 직접 업로드 지원 여부는 문서에 명시가 없어 확인하지 못했다. 한국에서 .hwp가 막히면 절차 전체가 그 자리에서 멈추므로, 도입 전에 반드시 문의해 확인하시라.

3) 결과 읽기. 결과는 총점 하나가 아니라 문장 단위 하이라이트가 포함된 리포트로 나온다. 운영상 쓸모 있는 쪽은 압도적으로 하이라이트다. “87% AI"는 서로 목소리가 높아지는 회의를 부르지만, “이 세 문단만 색이 다르다"는 함께 화면을 들여다볼 거리를 준다. 검사 소요 시간은 제조사가 수치로 공개하지 않아 이 글에서 적을 수 없다. 대량 처리 계획이 있다면 무료 플랜에 대표 원고 한 편을 넣고 초시계를 눌러보는 편이 확실하다.

4) 크롬 확장. 대시보드의 ‘Pangram for Chrome’에서 설치하고, 텍스트를 복사한 뒤 ‘Scan Clipboard for AI’를 누르면 페이지를 옮기지 않고 검사한다(설치 안내). 소셜 피드를 훑는 Feed Scanner도 있다. 주의할 점이 둘이다. 클립보드 스캔은 Ctrl+C 한 번이 외부 서버로 나가는 것과 같으므로 미공개 원고·계약서·개인정보에는 쓰면 안 된다. 그리고 Feed Scanner가 훑는 소셜 게시물은 대개 두세 줄인데, 제조사 스스로 짧은 글에는 쓰지 말라고 권고한다. 기능이 있다는 것과 그 결과를 믿어도 된다는 것은 다른 얘기다.

5) 대량 처리는 REST API. 모든 요청은 x-api-key 헤더에 API 키를 넣는다(API 문서). 이미지 AI 생성 여부 스캔과 표절 검사도 요금제별로 포함된다.

구글 독스 편집 이력 — 유용하지만 ‘사실’은 아니다

교육 현장에서 자주 언급되는 것이 구글 독스 통합이다. 상단 바의 ‘Scan for AI’를 누르면 총 편집 횟수, 붙여넣기 블록, 작성 이력 리플레이를 볼 수 있다(제조사 문서). 리플레이를 돌리면 빈 문서에 글자가 한 자씩 돋아나는 게 보이는데, 어느 순간 2,000단어짜리 완성 문단이 한 프레임 만에 통째로 나타나기도 한다. 확률값보다 다루기 쉬운 자료인 건 맞다.

하지만 이걸 “확률이 아니라 사실"이라고 부르는 건 위험한 단순화다. 로그는 사실이다. 그 로그를 부정행위로 읽는 것은 여전히 해석이다. 눈밭의 발자국과 같다 — 발자국은 사실이고, 그게 도둑의 것이라는 건 추정이다. 다음은 전부 정상적인 작업 습관인데 로그에는 똑같이 “수상하게” 찍힌다.

워드·한글·옵시디언·노션에서 초고를 쓰고 완성본을 붙여넣는 습관 — 매우 흔하다
지하철에서 휴대폰 메모나 음성 입력으로 초안을 잡고 나중에 옮겨 붙이는 경우
화면 낭독기·음성 인식 등 접근성 도구를 쓰는 사용자
인터넷이 끊기는 환경에서 오프라인으로 쓰고 나중에 옮기는 경우
반대로, AI로 뽑은 글을 한 글자씩 옮겨 치면 편집 이력은 눈 온 뒤 아침처럼 깨끗해진다

즉 편집 이력은 부정행위를 잡는 도구가 아니라, 당사자와 나란히 앉아 작성 과정을 되짚을 때 펼쳐놓는 대화 자료다. 이력이 이상하다는 이유만으로 처분을 내리면 외부 편집기를 쓰는 성실한 다수가 걸리고, 정작 마음먹고 속이는 사람은 회피법이 널리 알려져 있어 그물 밖으로 걸어 나간다. 그물이 부지런한 사람만 잡는 구조다.

가격 (2026-09-02 확인 기준)

요금제별 월 비용 비교 — 무료는 하루 2,000단어 한도, Team은 최소 2좌석 기준(좌석당 $20). 2026-09-02 확인 기준.

아래는 2026-09-02에 가격 페이지에서 확인한 값이다. 요금제는 예고 없이 바뀌므로 결제 전 원 페이지를 다시 볼 것.

요금제	월 비용(USD)	원화 환산(추정)	주요 한도
Free	$0	—	하루 2,000단어, 결제수단 불필요
Individual	$20	약 2.8만 원	월 30만 단어 + 이미지 스캔 100회 + 표절 검사 (연간 결제 시 $60 절약)
Professional	$65	약 9.1만 원	월 150만 단어 + 이미지 스캔 500회 + 월 $200 API 사용량 포함
Team	좌석당 $20 (최소 2좌석)	약 5.6만 원~	좌석당 월 30만 단어 + 관리자 제어 + 통합 청구
Developer API	$25부터	약 3.5만 원~	Pangram 4는 $0.05당 100단어, Pangram 3는 $0.05당 1,000단어. 대량 사용 시 20% 할인
교육기관/Enterprise	문의	—	무제한 검사·LMS 연동 / Enterprise는 변동 가격·SOC 2

한국에서 결제할 때 알아둘 것

원화 환산은 1달러 = 1,400원 가정치다. 실제 청구액은 결제일 환율에 따라 달라지니 목돈이 걸린 결정이라면 당일 환율로 다시 계산하시라.
부가세(VAT). 해외 사업자가 한국 소비자에게 파는 디지털 서비스에는 부가세 10%가 별도로 붙는 경우가 많다. 표시가에 포함인지 별도인지 결제 화면의 최종 청구액에서 확인해야 한다. 사업자라면 세금계산서·인보이스 발급 가능 여부도 함께 물어볼 것.
결제 수단. 해외 결제가 열린 비자/마스터 신용·체크카드가 무난하다. 카드사 해외 이용 수수료(대략 1% 안팎)가 별도로 붙고, 결제창에서 원화 결제(DCC)를 고르면 환전 수수료를 두 번 문다 — 달러로 결제하는 편이 유리하다.
“하루 2,000단어"는 한국어로 몇 자인가. 제조사가 한국어 토큰을 어떻게 세는지 공개하지 않아 정확히는 알 수 없다. 공백 기준 어절로 센다고 가정하면 한국어 2,000어절은 대략 6,000~8,000자(공백 포함) 수준이다. 지금 읽고 계신 이 정도 길이의 원고 한 편이면 하루치가 그 자리에서 다 탄다는 뜻이다. 실제 소진량은 무료 플랜에 원고 한 편을 넣고 잔여 한도를 보는 것이 가장 확실하다.
Pangram 4와 3의 단가가 10배 차이라는 점은 눈여겨볼 만하다. 1차 선별은 3으로 넓게 훑고 걸린 것만 4로 다시 보는 2단 구성이 비용 면에서 합리적이다.

다른 탐지기와 비교하려면 — 체크리스트

이 글은 Pangram 단일 리뷰다. GPTZero·Originality.ai·Turnitin·Copyleaks 등을 같은 원고로 돌려 비교한 시험은 하지 않았으므로 여기서 그 도구들의 정확도나 가격을 단정하지 않겠다. 대신 어떤 탐지기를 검토하든 이 다섯을 물어보시라. 답이 막히는 항목이 있다면 그게 그 도구의 약점이다.

오탐률을 숫자로 공개하는가, 그리고 어떤 데이터셋인가? 데이터셋 설명 없는 오탐률은 무의미하다. “정확도 99%“만 크게 적혀 있고 오탐률이 없으면 그 침묵 자체가 신호다.
제3자 평가의 원문에 접근할 수 있는가? 벤더 블로그 요약만 있고 원논문 링크가 없으면 2차 인용이다(Pangram도 이 항목에서는 감점이다).
한국어 성능 수치가 있는가? 없다면 — 대부분 없다 — 자체 오탐률을 직접 재는 절차를 도입 계획에 반드시 넣어야 한다.
사람+AI 혼합 텍스트를 어떻게 처리한다고 문서에 적혀 있는가? “혼합은 판정하지 않는다"고 적은 도구가 “혼합도 잡는다"는 도구보다 정직할 가능성이 높다.
단위당 실제 비용과 데이터 처리 정책. 단어당인지 문서당인지, 업로드한 원고를 학습에 쓰는지, 보관 기간은 얼마인지. 기업·교육기관이라면 마지막 항목이 가격보다 무겁다.

이 도구를 정직하게 쓰는 법

우리가 탐지기 앞에 들고 가는 질문 자체가 틀렸다.

“이 글은 AI가 썼나?” — 혼합 원고가 표준이 된 지금 이건 반죽에게 던지는 질문이다. 대신 이렇게 물으면 도구가 제 능력을 낸다. “이 500건 중 어디부터 사람이 읽어야 하나?”

질문을 바꾸면 오탐 2%의 무게도 바뀐다. ‘검토 우선순위 정렬’에서 2%는 위쪽 몇 건을 사람이 열어보면 그만인 수치다. 같은 2%가 ‘자동 징계’에서는 강의실 한 줄을 통째로 지목하는 재앙이 된다. 도구는 그대로인데 용도가 결과를 가른다.

권고는 넷이다.

탐지 결과 단독으로 어떤 처분도 내리지 마라. 판정은 증거가 아니라 단서다. 제조사도 같은 취지로 권고한다.
한국어 원고라면 벤더 수치를 쓰지 말고 자체 오탐률을 먼저 재라. 확실한 사람 글 50~100편이면 반나절에 잰다.
편집 이력은 대화의 출발점이지 판결문이 아니다. 외부 편집기에서 쓰고 붙여넣는 건 정상적인 습관이고, 반대로 마음먹고 옮겨 치면 이력은 깨끗해진다.
짧은 글, 레시피·설명서·템플릿 형식 글에는 아예 돌리지 마라. 제조사가 직접 그렇게 권고한다.

AI가 쓴 글을 골라내는 기계는 끝내 완성되지 않을 것이다. 사람이 AI를 쓰는 방식이 기계가 배우는 속도보다 빠르게 변하기 때문이다. 우리가 만들 수 있는 건 의심스러운 것을 사람 앞에 가져다 놓는 기계뿐이고, 인용한 영어 평가 기준에 한해서는 Pangram이 그 일을 꽤 잘하는 편이다.

빨간 상자 안의 숫자는 판결이 아니라 줄을 세우는 번호표다. 그렇게 쓰면, 이 도구는 값을 한다.