AI 변형문제, 온새드는 이렇게 검증합니다

한 문항이 나가기까지 — 다섯 단계

1. 지문을 그대로 둡니다 — 밑줄·빈칸·번호 같은 표시만 더하고, 문항을 만든 뒤 원문과 코드로 대조합니다. 잘려 나간 지문은 원문으로 되돌리고, 그래도 원문과 다르면 그 문항은 통과시키지 않습니다. 원문을 바꾼 지문은 지문변형을 고른 경우에만 따로 만듭니다.
2. 유형별로 만듭니다 — 수능·모의고사 문항 번호에 맞춘 유형마다 발문과 보기 형식이 정해져 있습니다.
3. 다른 AI가 다시 풉니다 — 만든 AI와 다른 AI가 정답을 모르는 채로 문항을 풀어, 정해 둔 정답과 맞는지 대조합니다.
4. 시험지 한 벌을 통째로 검사합니다 — 보기끼리 낱말이 2개 이상 달라야 다른 보기로 보고, 같은 보기가 한 시험지 안에서 되풀이되면 걸러 냅니다.
5. 걸린 문항은 버리고 다시 만듭니다 — 요청한 수를 채울 때까지 새로 만들어 그 자리를 바꿉니다. 다시 만들어도 끝내 모자랄 때만 버린 문항을 되살리며, 그때는 발문 맨 앞에 «(검수필요)»를 적어 보냅니다.

실측 숫자 — 최근 28일 운영 기록

2026-11-06에 운영 서버 기록을 읽어 잰 값입니다. 회원이 만든 문항만 셌고, 온새드 운영진이 점검용으로 만든 문항은 뺐습니다. 숫자는 시간이 지나면 바뀌므로 잰 날을 함께 적습니다.

• 출고 전에 버린 문항 — 만든 2,832문항 가운데 364문항(12.9%). 약 8문항 가운데 한 문항꼴로 출고 전에 걸러 낸 셈입니다.
• 버린 까닭 상위 셋 — 정답이 둘 이상으로 읽히는 문항 101건 · 같은 자리에 빈칸이 되풀이된 문항 82건 · 보기가 다른 문항과 겹친 문항 81건.
• 객관식 정답 역검증 — 회원에게 간 객관식 2,293문항 가운데 2,146문항(93.6%)이 다른 AI가 다시 풀어 같은 정답에 닿았습니다.
• 확인되지 않은 객관식 — 나머지 147문항은 다시 푼 답이 정답과 달랐거나 판정이 갈린 문항입니다. 문항이 틀렸다는 뜻은 아니지만, 사람이 한 번 더 볼 문항입니다.
• 서술형 — 답이 한 낱말로 정해지지 않아 같은 방식의 역검증을 하지 않습니다. 위 통과율에도 넣지 않았습니다.

그래서 선생님께 권하는 것

AI 검증은 사람의 검토를 대신하지 못합니다. 위 숫자는 «대부분 맞는다»를 보여 줄 뿐 «모두 맞는다»를 보장하지 않습니다. 시험에 내기 전에는 정답 근거 문장과 보기를 한 번 더 훑어보시기를 권합니다. 무엇을 어떻게 보면 빠른지는 아래 두 글에 정리했습니다.

영어 변형문제 AI로 만들 때 확인할 3가지 · ChatGPT로 영어 문제 만들 때 생기는 오류 5가지 · 예시 시험지 보기