레딩대 온라인시험 연구…자동 탐지기 성능 아닌 실제 채점 절차의 판별 한계 보여줘
영국 레딩대학교의 온라인시험에 연구진이 제출한 인공지능(AI) 작성 답안 가운데 94%가 학업 부정 등의 의심을 받지 않고 채점됐다는 연구 결과가 있다. 2024년 공개된 이 실험은 완성된 답안만 읽고 작성 주체를 가려내는 방식의 한계를 보여준다. 국내 수능이나 최근 AI 모델을 대상으로 한 실험은 아니다.

피터 스카프 등 연구진은 가상의 학생 33명 명의로 심리학 학부의 5개 과목에 GPT-4가 작성한 답안을 제출했다. 실험은 2023년 여름 진행됐으며 채점자들에게는 연구 사실을 알리지 않았다. 논문은 2024년 6월 26일 국제학술지 ‘플로스 원’에 발표됐다.
대상 시험은 집에서 치르는 온라인 방식이었다. 짧은 답을 작성하는 유형과 논술형이 포함됐고, 응시자는 강의 자료와 학술논문, 책, 인터넷을 이용할 수 있었다. 연구진이 넣은 AI 답안은 과목별 전체 제출물의 약 5%였다. 감독관이 현장에서 전자기기 사용을 통제하는 시험과는 조건이 다르다.
연구진은 정해진 지시문으로 답안을 생성했다. 분량을 맞추기 위해 응답을 이어 받거나 문서 형식을 손보고, 불필요하게 붙은 참고문헌 목록을 삭제하는 작업은 했지만 답안 내용을 사람이 다시 쓰지는 않았다. 학생처럼 보이도록 문장을 정교하게 고친 경우만을 시험한 것은 아니라는 뜻이다.
AI 답안은 평균적으로 실제 학생 답안보다 높은 평가를 받았다. 다만 논문은 일부 3학년 과목에서는 AI 답안이 학생 성적 분포의 낮은 쪽에 자리했다고 밝혔다. 한 대학의 특정 전공과 시험 형식에서 얻은 결과를 모든 과목이나 국가시험의 성취도로 확대해석할 수는 없다.
‘94%’라는 수치도 구분해서 읽어야 한다. 당시 제출·채점 시스템에는 AI 탐지 기능이 없었다. 연구에서는 채점자가 AI를 명시하지 않았더라도 학업 부정이나 부적절한 작성 관행을 의심해 표시하면 ‘탐지’로 셌다. 따라서 이 수치는 특정 자동 탐지 프로그램의 오류율이나 실제 학생들의 부정행위 비율을 뜻하지 않는다.
레딩대가 현재 공개한 학생 안내는 평가를 AI 사용 금지, 학습 보조 허용, AI 활용 역량 평가의 세 범주로 구분한다. 보조 활용이 허용돼도 최종 제출물은 자신의 문장으로 작성해야 하며, 사용 내역을 밝히도록 한다. 과제 안내에 AI 관련 설명이 없다면 사용 금지로 간주하고, 불명확한 부분은 담당 교원에게 먼저 확인하도록 안내하고 있다.
주소를 선택해 복사해 주세요.

댓글 0
댓글 쓰기