검수 기준을 평균이 아니라 두 분포가 갈라지는 자리에 두었다

2026년 10월 23일Importants Studio

AI 초안의 문장 리듬을 검수기로 재고 있습니다. 처음에는 사람이 쓴 글의 평균값을 기준으로 두면 될 것이라 생각했고, 사람 글 열 편에서 나온 편차 평균은 32, 짧은 문장 비율은 5%, 같은 종결 비율은 52%였습니다.

그 기준으로 돌렸다가 사람이 쓴 글도 떨어뜨렸습니다. 평균은 통과선이 아니었던 겁니다. 특히 같은 종결 비율 상한을 55%로 잡았을 때는 멀쩡한 글 세 편을 다시 윤문하게 됐습니다.

먼저 결론부터

사람 글의 문장 길이 표준편차는 25.5에서 38.9 사이였고 GPT 초안은 13에서 16에 몰렸으니, 평균 32를 넘겨야 통과한다고 정하면 사람 글 범위의 아래쪽이 바로 탈락합니다.

짧은 문장 비율도 마찬가지였습니다. 검수기에서는 15자 이하 문장을 짧은 문장으로 셉니다. 사람 글은 2.3%에서 18.6%, GPT 초안은 0%에서 2%로 경계가 닿아 있어서 이 수치만으로 사람 글과 초안을 나누기는 어려웠습니다.

그래서 짧은 문장 비율은 판정에서 빼고 참고 수치로만 봅니다.

같은 종결 비율에서는 차이가 더 뚜렷했습니다. 사람 글은 31%에서 69%였고 중앙값은 54%였습니다. GPT 초안은 79%에서 93%로 나왔습니다.

처음에는 중앙값 근처인 55%를 상한으로 뒀습니다. 결과가 좋지 않았죠. 사람이 쓴 글 세 편이 다시 작업 대상으로 들어갔습니다. 평균이나 중앙값은 그 집단의 가운데를 말할 뿐입니다. 통과선은 아닙니다.

현재 검수기는 편차 24 이상, 같은 종결 65% 이하를 봅니다. GPT 초안의 범위와는 떨어져 있으면서, 사람 글을 평균 근처에만 묶어 두지 않는 자리였고, 사람 글 분포 끝까지 전부 받아 주는 기준은 아니지만 처음의 55%보다 검수기의 역할에 가까웠습니다.

같은 종결 비율을 낮추라고만 지시했을 때 모델은 문장 끝을 바꾸지 않았습니다. 대신 명사로 문장을 끊기 시작했습니다. “원인은 결합 단계.” 같은 형태가 늘어났습니다. 수치는 내려갔지만 사람이 쓰던 문체는 아니었습니다.

그렇게 나온 글 세 편의 명사 끊기 비율은 16%에서 19%였는데, 사람 글은 0%에서 11.1%였고 중앙값은 1.3%였으며 열 편 가운데 다섯 편은 아예 0%였던 터라 수치만 맞고 문체는 틀어진 셈이었습니다.

그래서 명사 끊기를 별도 지표로 넣었고 현재 상한은 11%입니다. 같은 종결 수치 하나를 통과시키려다 다른 축을 훼손하는 일을 막으려는 장치죠.

지시문도 문제였습니다. “같은 종결만 고칠 것”이라고 적고 다른 지표의 현재값을 비워 두면, 모델은 명사 끊기나 띄어쓰기 삭제로 답을 찾았습니다. 숫자는 맞아도 결과는 달랐거든요.

검수 결과가 보류면 재작업 지시서를 만듭니다. 한 패스에는 지표 하나만 고치게 하고, 나머지 지표는 현재 측정값을 유지하라고 적어 둡니다.

예를 들어 같은 종결만 고쳐야 하는 글이라면 명사 끊기와 문장 길이 편차, 짧은 문장 비율은 유지 대상으로 둡니다. 모델이 다른 지표까지 마음대로 바꾸지 못하게 하는 거예요.

이 절차가 없을 때 명사 끊기 19%와 띄어쓰기 삭제가 나왔습니다. 검수기는 한 수치만 보는 도구가 아니라 수치를 맞추는 과정에서 생기는 우회까지 같이 감시해야 하는 도구였습니다.

드리프트는 숫자나 영문 식별자가 원문과 달라지는 경우입니다. 하나라도 나오면 실패로 봅니다. 문체를 바꾸는 작업에서 식별자가 바뀌면 윤문이 아니라 내용 변경이 되기 때문입니다.

다만 윤문본 끝에 붙는 `