CBT 시스템 한눈에 보기, 문제은행·부정행위 방지·AI 채점까지 도입 전 점검

컴퓨터로 시험을 운영하려는 분들이 네 영역을 순서대로 따져 보고, 우리 조직 시험에 무엇이 필요한지 고르는 실전 가이드

종이 시험지를 인쇄하고, 감독관을 배치하고, 답안지를 손으로 채점하던 시험이 컴퓨터 화면 안으로 들어오면 무엇이 달라질까요? 가장 큰 변화는 시험이 "한 번에 몰아서 치르는 행사"에서 "언제든 열 수 있는 서비스"로 바뀐다는 점입니다. 대신 그만큼 챙겨야 할 것도 늘어납니다. 문제가 새지 않게 관리해야 하고, 시험 도중 접속이 끊겨도 답안이 살아 있어야 하고, 개인정보도 지켜야 합니다.

먼저 용어부터 정리하고 가겠습니다.

CBT(Computer-Based Test)는 컴퓨터로 보는 시험입니다. 종이로 보는 시험은 PBT(Paper-Based Test)라고 부릅니다. CAT(Computer Adaptive Test, 적응형 시험)는 CBT의 한 갈래로, 앞 문제를 맞히면 더 어려운 문제가, 틀리면 더 쉬운 문제가 나오는 시험입니다. 즉 CAT은 CBT 안에 포함되는 방식이고, 모든 CBT가 적응형은 아닙니다.

이 글은 CBT 시스템을 문제은행 운영, 부정행위 방지, 도입 전 점검, AI 활용이라는 네 덩어리로 나눠 살펴봅니다. 각 영역에서 무엇을 따져야 하는지 기준을 잡고, 마지막에 우리 조직 시험에 맞는 구성을 고르는 순서로 안내해 드릴게요. 종이 시험을 디지털로 옮기는 구체적인 전환 절차보다는, 이 글에서는 시스템 전체를 어떻게 구분해서 볼지에 집중합니다. 📝

CBT는 어디까지 쓰이나: 국가기술자격 필기시험으로 보는 현재 위치

CBT는 이미 큰 규모의 공식 시험에서 일상적으로 쓰이는 방식입니다. 대표 사례가 국가기술자격 필기시험입니다.

국가기술자격 필기시험은 기능사·산업기사·기사·기능장 모두 CBT로 시행되며, 연중 상시·주중 시행을 원칙으로 합니다(국가기술자격 상시검정 시행계획 공고 기준, q-net.or.kr). 규모도 큽니다. 2025년 국가기술자격 검정형 필기시험 및 과정평가형 자격 응시자는 229만 491명으로 전년보다 0.7% 늘었습니다(2026 국가기술자격 통계연보). 한 해에 이 정도 인원이 컴퓨터로 시험을 본다는 것은, CBT가 실험 단계를 지나 운영 단계에 있다는 뜻입니다.

여기서 눈여겨볼 점이 두 가지 있습니다.

첫째, "상시 시행"이 CBT의 핵심 장점이라는 점입니다. 종이 시험은 인쇄·배송·회수 때문에 시험일을 정해 한꺼번에 치러야 합니다. CBT는 시험장의 컴퓨터와 문제은행만 준비되어 있으면 응시자가 가능한 날짜를 골라 볼 수 있습니다. 다만 이 장점은 문제은행이 충분히 크고, 시험마다 문제 조합이 달라지도록 관리될 때 성립합니다. 바로 다음 섹션에서 다룹니다.

둘째, 적용 범위가 넓어지는 방향이 있다는 점입니다. 정부 기본계획에는 현재 객관식 필기에 도입된 CBT를 필답형 시험과 과정평가형 외부평가까지 단계적으로 넓히는 방향이 담겨 있습니다. 다만 종목별 적용 시점은 공식 발표로 확인되지 않았으므로, 언제부터 어떤 종목에 적용된다고 단정할 수는 없습니다. 이 글을 읽으시는 분이 자격시험 운영자가 아니더라도, 객관식 중심이던 CBT가 서술형·필답형 쪽으로 넓어지는 흐름은 알아둘 만합니다. 서술형이 늘어나면 채점 방식 고민(뒤에서 다룰 AI 채점 보조)도 함께 커지기 때문입니다.

공식 시행 현황을 직접 확인하고 싶다면 한국산업인력공단 큐넷(q-net.or.kr)의 공고를 참고해 보세요.

문제은행 운영: 분류, 무작위 출제, 난이도 재보정, 노출 관리

CBT의 품질은 화면이 아니라 문제은행에서 갈립니다. 문제은행은 시험에 쓸 문항을 모아두고 필요할 때 골라 꺼내 쓰는 저장소입니다. 문항 수가 많다고 좋은 것이 아니라, 분류가 되어 있고 운영 기록이 쌓여 있어야 좋은 문제은행입니다. 따라 해볼 수 있도록 네 단계로 나눠 설명하겠습니다.

1단계: 과목·단원·난이도로 분류 체계를 세운다

문제은행을 만들 때 가장 먼저 할 일은 문항을 어디에 붙일지 정하는 것입니다. 문항마다 최소한 아래 세 가지 꼬리표를 달아두세요.

① 과목: 시험 전체를 이루는 큰 영역

② 단원: 과목 안의 세부 주제

③ 난이도: 상·중·하 같은 등급

이 꼬리표가 있어야 "과목별로 몇 문제씩, 단원이 골고루 섞이게" 같은 출제 규칙을 시스템이 자동으로 적용할 수 있습니다. 꼬리표 없이 문항만 쌓아두면 시험을 만들 때마다 사람이 손으로 골라야 해서, CBT의 장점이 사라집니다.

초기 난이도는 출제자의 판단으로 붙여도 됩니다. 다만 이 값은 임시값입니다. 4단계에서 실제 응시 데이터로 다시 보정하게 됩니다.

2단계: 무작위 출제와 보기 섞기를 설정한다

분류가 끝났다면 시험지를 어떻게 만들지 규칙을 정합니다.

무작위 출제는 "과목 A에서 10문항, 과목 B에서 10문항"처럼 구성 규칙은 고정하고, 그 안에서 어떤 문항이 뽑힐지는 시험마다 무작위로 정하는 방식입니다. 구성 규칙이 있으니 시험마다 범위가 균형 있게 유지되고, 무작위이니 응시자마다 문제 조합이 달라집니다.

보기 섞기는 객관식 문항의 선택지 순서를 응시자마다 바꾸는 기능입니다. 옆 사람 화면을 보고 "3번"이라고 따라 적는 식의 단순한 부정행위를 줄이는 데 도움이 됩니다.

보기 섞기에서 주의할 점이 하나 있습니다. "위의 보기 중 모두 맞는 것은?", "①과
②" 처럼 다른 보기를 가리키는 선택지가 있는 문항은 섞으면 의미가 깨집니다. 이런 문항은 섞기 대상에서 제외하거나, 아예 다른 보기를 참조하지 않도록 문항을 고쳐 두세요.

3단계: 같은 문항이 너무 자주 나오지 않게 관리한다

시험을 반복해서 운영하면 문항 노출 문제가 생깁니다. 문항 노출은 같은 문제가 여러 응시자에게 반복해서 나가면서 문제가 새는 것을 말합니다. 시험이 상시로 열릴수록, 문제은행이 작을수록 이 위험이 커집니다. 응시자들이 후기를 공유하면 특정 문항이 금방 알려지기 때문입니다.

관리 방법은 어렵지 않습니다. 시스템에 아래 항목을 기록해 두세요.

① 문항별 출제 횟수

② 문항별 마지막 출제 시점

③ 노출이 많은 문항을 일정 기간 쉬게 하는 규칙

출제 횟수가 기준을 넘은 문항은 잠시 문제은행에서 빼고(휴지), 새 문항으로 교체하는 순환 구조를 만들어 두면 좋습니다. 기준값은 시험의 중요도와 문제은행 크기에 따라 조직마다 정해야 합니다. 이 글에서 특정 숫자를 권장하지는 않겠습니다.

4단계: 실제 정답률로 난이도를 다시 매긴다

시험을 몇 번 치르고 나면 문항별 정답률이 쌓입니다. 이 데이터로 1단계의 임시 난이도를 보정하세요.

예를 들어 출제자는 "중"이라고 생각했는데 응시자 대부분이 틀린 문항이 있다면 사실상 "상"에 가깝습니다. 반대로 거의 모두가 맞히는 "상" 문항은 변별력이 없다는 신호입니다. 이런 문항은 아래처럼 점검해 보세요.

① 정답률이 지나치게 낮다면 문항이 모호하거나 정답이 잘못 지정된 것은 아닌지 확인

② 정답률이 지나치게 높다면 문제가 노출되었거나 너무 쉬운 문항은 아닌지 확인

③ 문제가 있으면 수정 후 재투입, 개선이 어렵다면 폐기

이 과정을 반복하면 문제은행이 쓸수록 정확해집니다. 문제은행 운영은 한 번 만들고 끝나는 작업이 아니라, 시험 결과로 계속 다듬는 순환이라는 점을 기억해 두세요.

적응형 시험(CAT)은 통계로 측정된 문제은행이 있어야 가능하다

적응형 시험은 매력적이지만, 아무 문제은행에나 얹을 수 있는 기능이 아닙니다. 이 점을 도입 전에 분명히 알아두세요.

CAT은 응시자가 앞 문항을 맞혔는지에 따라 다음 문항의 난이도를 바꿉니다. 그러려면 시스템이 "이 문항은 얼마나 어려운가", "이 문항은 실력 차이를 얼마나 잘 가르는가"를 미리 알고 있어야 합니다. 이 값을 통계적으로 재는 방법이 문항반응이론(IRT)입니다. 쉽게 말해 문항마다 난이도와 변별도를 통계로 측정해 두는 방법이라고 이해하시면 됩니다(assess.com, Weiss·Şahin 2024).

핵심은 이 측정이 출제자가 감으로 "상·중·하"를 매기는 방식으로는 대체되지 않는다는 점입니다. 앞 섹션 1단계에서 붙인 임시 난이도로는 CAT을 돌릴 수 없습니다. 많은 응시자의 실제 답안 데이터로 문항별 통계 값을 측정해 둔, 충분히 큰 문제은행이 있어야 합니다.

그래서 CAT 도입 여부는 아래 순서로 판단해 보세요.

① 지금 문제은행에 실제 응시 데이터가 쌓여 있는가

② 문항별 난이도·변별도를 통계로 측정할 수 있는 응시 규모가 되는가

③ 문항을 충분히 확보하고 계속 보충할 수 있는가

세 가지 중 하나라도 "아니오"라면, 고정형 시험(모든 응시자가 같은 규칙으로 구성된 시험지를 받는 방식)으로 먼저 시작하는 편이 현실적입니다. 고정형으로 운영하면서 데이터를 쌓고, 그 데이터가 충분해졌을 때 적응형을 검토해도 늦지 않습니다. 앞 섹션 4단계의 정답률 보정이 바로 그 데이터를 쌓는 과정이기도 합니다.

ITC와 ATP가 함께 낸 기술 기반 평가 지침도 시험지 구성을 고정형과 적응형으로 나눠 다룹니다. 이 지침은 2022년 11월 발표되었고 2025년 7월 1.1판이 나왔으며, 마지막 섹션에서 다시 소개하겠습니다.

부정행위 방지: 시험장형과 원격형은 설계가 다르다

부정행위 방지는 어디서 시험을 보느냐에 따라 설계 자체가 달라집니다. 시험장형과 원격형을 먼저 구분하고, 각각의 통제 수단을 고르세요.

시험장형: 환경을 통제할 수 있다

응시자가 정해진 시험장에서 지정된 PC로 보는 방식입니다. 이 방식의 강점은 장비와 공간을 시험 운영자가 통제할 수 있다는 점입니다.

① 지정 PC만 사용: 응시자 개인 기기를 쓰지 않으니 시험 환경이 같음

② 화면 잠금: 시험 중에는 다른 프로그램·웹 창을 열지 못하게 제한

③ 현장 감독: 감독관이 직접 응시 환경을 확인

④ 신분 확인: 입실 때 신분증으로 본인 여부 확인

시험장형은 통제 수단이 단순하고 명확한 대신, 시험장과 장비를 운영해야 하는 부담이 있습니다.

원격형: 환경을 통제할 수 없어서 수단이 늘어난다

응시자가 집이나 사무실에서 자기 기기로 보는 방식입니다. 장소 제약이 없는 대신, 응시자 환경을 운영자가 통제할 수 없습니다. 그래서 원격형은 보통 아래 수단을 조합합니다.

① 웹캠: 응시자의 얼굴과 주변을 영상으로 확인

② 화면 공유: 응시자 모니터에 무엇이 떠 있는지 확인

③ 사람 감독관의 실시간 감독

④ AI 감독: 영상·화면에서 의심 행동을 자동으로 표시

수단이 많아질수록 응시자가 부담하는 부분과 개인정보 이슈도 같이 커집니다. 그래서 원격형을 고려한다면 "필요한 만큼만" 쓴다는 원칙이 중요합니다.

AI 감독의 경고는 사람이 다시 판정한다

AI 시험 감독은 편리해 보이지만, 사용 원칙은 분명합니다. AI가 낸 경고는 부정행위 확정이 아니라 "사람이 한 번 더 확인하라"는 신호로만 쓰세요.

이유는 오탐 때문입니다. 오탐은 부정행위가 아닌데 부정행위로 표시되는 것을 말합니다. 원격 시험 감독에서 AI 부정행위 탐지는 오탐, 개인정보, 장비 의존 문제가 반복해서 지적되어 왔고, 경고는 사람이 다시 확인해야 한다는 것이 공통된 권고입니다(testinvite.com 등). 예를 들어 생각하느라 시선이 옆으로 가거나, 갑자기 소음이 들리거나, 장비 성능이 부족해 영상이 끊기는 정상적인 상황도 경고로 표시될 수 있습니다.

운영 절차는 이렇게 잡아보세요.

① AI가 의심 구간을 표시하면 자동으로 불이익을 주지 않고 검토 대기열에 올림

② 담당자가 해당 구간 영상·기록을 직접 확인

③ 확인 결과와 근거를 기록으로 남김

④ 응시자가 이의를 제기할 수 있는 경로를 사전에 안내

또 하나 주의할 점이 있습니다. 업체 자료에서 "부정행위 95% 감소" 같은 문구를 보게 될 수 있는데, 이런 수치는 측정 방법이 공개되지 않은 마케팅 수치입니다. 이 글에서도 AI 감독의 정확도나 부정행위 감소율 수치는 신뢰할 만한 측정치가 없어 다루지 않습니다. 도입을 검토할 때는 수치 홍보보다 오탐이 났을 때 누가 어떻게 재확인하는지를 먼저 물어보세요.

감독 수단의 강도는 기관마다 다르다

AI 감독을 어디까지 허용할지는 기관의 판단이 갈리는 영역입니다. 미국 웨인주립대는 2024년 11월 웹캠 감독 지침에서 사람 감독관의 실시간 감독은 허용하되, 방 내부 촬영(룸 스캔)과 AI 부정행위 탐지 도구는 교무처의 사전 예외 승인 없이는 금지하도록 정했습니다(tech.wayne.edu). 한 대학의 사례이지 보편 기준은 아니지만, 감독 수단에도 강도 단계가 있고 강한 수단일수록 별도의 승인 절차를 두는 곳이 있다는 참고가 됩니다.

우리 조직에서는 아래 순서로 수단을 골라보세요.

① 시험장형으로 충분한가 → 충분하다면 지정 PC·화면 잠금·현장 감독 중심으로 설계

② 원격이 필요하다면 → 사람 감독 중심으로 시작하고, 필요한 경우에만 화면 공유·AI 감독 추가

③ 수단을 추가할 때마다 → 그 수단이 응시자에게 어떤 정보를 요구하는지 확인

얼굴 정보는 민감정보다

원격 감독에서 신분 확인을 위해 얼굴 인식을 쓰는 경우가 많습니다. 여기서 반드시 알아야 할 점은, 얼굴 인식 정보는 국내법상 민감정보(생체인식정보)라는 것입니다. 민감정보는 별도 동의를 받거나 법령상 근거가 있어야 처리할 수 있습니다.

개인정보보호위원회의 생체정보 보호 가이드라인(2021년 전면 개편)은 일반적으로 다음을 요구합니다.

① 원하지 않는 이용자를 위한 대체 수단을 마련할 것: 얼굴 인식을 거부하는 응시자에게 신분증 대면 확인 같은 다른 방법을 제공

② 대량의 생체정보를 서버로 보내 처리하는 경우 개인정보 영향평가를 거칠 것

③ 별도 동의를 받을 것

이 글은 일반 원칙만 안내합니다. 구체적으로 우리 시험에 어떻게 적용되는지는 법률 자문이 아니므로, 개인정보보호위원회(pipc.go.kr) 안내를 확인하고 전문가의 검토를 받으세요. 그리고 얼굴 정보를 얼마나 보관하고 언제 파기할지도 도입 전에 정해야 합니다(다음 섹션에서 보관 기간을 함께 점검합니다).

CBT 도입 전 점검: 접속·장애·채점·기록·접근성 다섯 가지

도입 전 점검은 시험 당일에 사고가 나지 않게 미리 막아두는 작업입니다. 아래 다섯 가지를 하나씩 확인해 보세요. 이 점검의 기준은 ITC와 ATP가 2022년 11월 공동 발표한 'Guidelines for Technology-Based Assessment'(2025년 7월 1.1판)가 다루는 주제와 맞닿아 있습니다. 이 지침은 11개 장으로 시험 개발, 시험지 구성(고정형·적응형), 응시 환경과 '시험 중 장애(test disruptions)', 채점, 데이터 관리, 시험 보안, 개인정보, 공정성·접근성 등을 다룹니다(siop.org, intestcom.org). 아래 점검 항목은 이 주제들을 실무 질문으로 풀어 쓴 것입니다.

점검 1: 동시 접속을 감당하는가

CBT는 시험 시작 시각에 응시자가 한꺼번에 접속하는 특성이 있습니다. 평소 사용량으로는 문제없던 시스템도 시험 시작 직후에 몰리면 느려지거나 멈출 수 있습니다.

① 한 번에 시험을 보는 최대 인원을 먼저 정합니다

② 그 인원이 같은 시각에 접속하는 상황을 가정해 사전 부하 점검을 합니다

③ 시험 시작 시각을 응시자별로 조금씩 나누는 방안(입장 시간대 분산)도 검토합니다

특정 숫자를 기준으로 삼기보다, 우리 시험의 최대 동시 응시 인원을 기준으로 테스트하는 것이 정확합니다.

점검 2: 시험 중 끊겨도 답안이 살아 있는가

시험 중 장애는 반드시 일어난다고 가정해야 합니다. 인터넷이 끊기고, 브라우저가 닫히고, 기기가 꺼질 수 있습니다. 지침도 응시 환경과 시험 중 장애를 별도 주제로 다루고, 채점에서도 기술 장애나 미완료 응시를 다루도록 안내합니다.

점검할 질문은 이렇습니다.

① 응시자가 답을 고를 때마다 서버에 자동 저장되는가

② 접속이 끊긴 뒤 다시 들어오면 이어서 응시할 수 있는가

③ 이어 응시할 때 남은 시간은 어떻게 계산되는가(끊긴 시간을 응시 시간에서 뺄지 말지)

④ 복구가 불가능한 장애가 났을 때 재응시·보완 절차는 무엇인가

⑤ 끝까지 풀지 못한 응시는 어떻게 채점하는가

특히
③번과
⑤번은 시스템 기능이 아니라 정책 결정입니다. 시험 전에 문서로 정해두고 응시자에게 사전 안내해야 분쟁을 줄일 수 있습니다.

점검 3: 채점·성적 공개·이의신청 흐름이 정해져 있는가

시험이 끝난 뒤의 흐름을 처음부터 끝까지 그려보세요.

① 채점: 객관식은 자동 채점, 서술형은 누가 어떻게 채점하는가

② 성적 공개: 언제, 어떤 방식으로, 어느 수준(총점·과목별 점수·합격 여부)까지 공개하는가

③ 이의신청: 신청 가능 기간, 신청 방법, 검토 담당자, 결과 통보 방식

④ 정답 오류가 확인되었을 때의 처리: 해당 문항 재채점 또는 전원 인정 같은 기준

이 흐름이 정해져 있지 않으면 시험 직후 문의가 몰립니다. 특히
④번은 문제은행 4단계(정답률 점검)와 이어집니다. 응시 후 정답률이 이상한 문항을 발견했을 때 어떻게 처리할지 규칙이 있어야 합니다.

점검 4: 응시 기록을 얼마나 보관하고 언제 파기하는가

응시 기록에는 답안, 응시 시각, 접속 기록, 감독 영상 등이 포함됩니다. 아래를 정해두세요.

① 보관할 기록의 종류

② 종류별 보관 기간

③ 보관 기간이 끝났을 때의 파기 절차

④ 응시자가 본인 기록을 열람하는 방법

특히 감독 영상이나 얼굴 정보처럼 민감한 정보는 필요한 기간만 보관하는 것이 원칙입니다. 보관 기간의 구체적인 기준은 시험의 성격과 관련 법령에 따라 달라지므로, 이 글에서 숫자를 제시하지 않습니다. 조직의 개인정보 담당자나 전문가와 확인해서 정하세요.

점검 5: 장애가 있는 응시자도 시험을 볼 수 있는가

공정성과 접근성은 선택 사항이 아니라 시스템 설계 단계에서 반영해야 하는 기본 요건입니다(지침도 공정성·접근성을 별도 주제로 다룹니다). 최소한 아래 기능은 갖춰져 있는지 확인하세요.

① 화면 확대: 글자와 화면을 키워서 볼 수 있는가

② 시간 연장: 승인된 응시자에게 시험 시간을 늘려줄 수 있는가

③ 대체 수단: 컴퓨터 사용이 어려운 응시자를 위한 다른 응시 방법이 있는가

④ 신청 절차: 편의를 신청하는 창구와 기한이 안내되어 있는가

시간 연장은 시스템에서 응시자별로 시간을 따로 설정할 수 있어야 가능합니다. 도입할 시스템이 이를 지원하는지 미리 확인하세요.

한눈에 보는 도입 전 점검표

아래 표를 복사해 두고 항목마다 상태를 체크해 보세요.

점검 전에 꼭 해볼 것이 하나 있습니다. 실제 응시자와 같은 조건으로 모의시험을 한 번 돌려보는 것입니다. 문서로 확인한 기능도 실제로 돌리면 놓친 부분이 나옵니다. 모의시험에서는 일부러 접속을 끊고, 일부러 시간을 넘기고, 일부러 답을 바꿔 보세요.

AI 활용: 문항 초안, 서술형 채점 보조, 오답 분석은 검증하며 쓴다

AI는 CBT의 여러 단계에서 쓸 수 있지만, 지금은 표준이 정해진 기술이 아니라 검증하면서 쓰는 단계입니다. 이 점이 이 섹션의 전제입니다.

ITC·ATP 지침도 AI·머신러닝 같은 새 기술의 적용을 '모범 사례가 아직 정립 중인 영역'으로 따로 분류합니다(siop.org). 지침의 다른 영역은 이미 정리된 원칙이 있는 반면, AI는 아직 확립 중이라는 구분입니다. 그래서 아래 세 가지 활용은 "이렇게 하면 된다"가 아니라 "이 안전장치를 걸고 써보라"는 방식으로 안내합니다.

활용 1: 문항 초안 생성 — 출제자 검수가 필수

AI에게 문항 초안을 만들게 하면 출제 시간을 줄일 수 있습니다. 다만 AI가 만든 문항에는 정답이 틀렸거나, 보기가 모호하거나, 실제 교육 범위를 벗어난 내용이 섞일 수 있습니다. 그래서 규칙은 하나입니다. AI 초안은 초안일 뿐이며, 문제은행에 들어가기 전에 반드시 출제자가 검수한다.

활용 절차는 이렇게 잡아보세요.

① 출제자가 과목·단원·난이도·문항 유형을 지정해 AI에게 초안을 요청

② 초안의 정답과 해설이 맞는지 출제자가 직접 확인

③ 보기가 모호하지 않은지, 정답이 하나로 확정되는지 점검

④ 수정을 거친 문항만 문제은행에 등록하고, "AI 초안 후 검수" 같은 출처 표시를 남김

⑤ 등록된 문항도 실제 응시 후 정답률로 다시 점검(문제은행 4단계)

⑤번이 중요합니다. 검수를 거쳤더라도 실제 응시자 데이터는 또 다른 검증이므로, AI 문항도 사람이 만든 문항과 똑같이 정답률로 다시 확인하세요.

활용 2: 서술형 채점 보조 — 사람 채점의 확인용으로

서술형 답안 채점은 시간이 많이 들어서 AI 활용 요구가 큽니다. 그런데 이 영역은 연구 결과도 아직 엇갈립니다. 2026년 연구(Assessing Writing)에서는 보정하면 사람 채점에 근접할 수 있었지만, 어떤 모델도 집단별 편차가 완전히 없지는 않았습니다. 또 ETS는 AI가 쓴 글이 섞이면서 '사람이 혼자 쓴 글'을 전제로 만든 자동 채점 모델에 새로운 문제가 생겼다고 밝혔습니다(ets.org).

즉 AI 자동 채점의 결과를 그대로 최종 점수로 삼는 것은 아직 검증이 부족한 선택입니다. 참고할 만한 운영 방식이 ETS GRE 작문입니다. 이 시험은 자동 채점(e-rater)을 사람 채점의 확인용으로만 씁니다. 사람 1명의 점수와 e-rater 점수가 어긋나면 두 번째 사람이 채점하고, 최종 점수는 사람 점수의 평균입니다(ets.org).

이 구조의 핵심은 AI가 최종 점수를 결정하지 않는다는 점입니다. AI는 사람 채점의 불일치를 걸러내는 역할만 합니다. 우리 시험에서 서술형 채점 보조를 시험해 보고 싶다면 이 구조를 본뜬 흐름을 추천합니다.

① 사람 채점자가 먼저 채점

② AI가 같은 답안을 독립적으로 채점

③ 두 결과가 크게 어긋나는 답안만 두 번째 사람 채점자에게 전달

④ 최종 점수는 사람 채점 결과로 확정

여기에 한 가지를 더 챙기세요. 채점 보조를 쓰는 동안 응시자 집단별로 점수 편차가 생기지 않는지 주기적으로 점검하는 것입니다. 연구에서 집단별 편차가 완전히 없는 모델은 없었다고 했으니, 우리 데이터에서도 직접 확인해야 합니다. 그리고 응시자에게 채점 방식(AI 보조 여부와 최종 판정 주체)을 사전에 안내하세요.

활용 3: 오답 분석 — 학습 피드백과 문항 점검에 쓴다

시험이 끝난 뒤 응시자들이 어떤 문항에서 많이 틀렸는지, 어떤 보기를 많이 골랐는지는 큰 정보입니다. AI에게 이 데이터를 요약시키면 두 가지에 쓸 수 있습니다.

① 응시자 피드백: "이 단원에서 오답이 많았다"는 식의 약한 영역 안내

② 문항 점검: 특정 오답 보기에 응시자가 몰리는 문항은 문항 오류나 모호함 의심 대상으로 표시

오답 분석은 점수를 결정하는 작업이 아니라 참고 정보를 만드는 작업이므로, 앞의 두 활용보다 위험이 작은 편입니다. AI가 낸 분석도 사람이 훑어보고 이상한 해석은 걸러내는 습관은 그대로 유지하세요.

세 활용을 한 문장으로 정리하면 이렇습니다. AI는 사람이 하던 일의 초안과 확인을 돕고, 최종 판단은 사람이 한다. 이 원칙은 AI 시험 감독(경고는 사람이 재확인), AI 자동 채점(사람 채점의 확인용)에서도 같습니다. AI 정확도에 관한 수치는 공신력 있는 측정치가 없어 이 글에서 다루지 않았으니, 도입을 검토할 때는 자체 파일럿으로 직접 검증하세요.

우리 시험에 맞는 CBT 구성 고르기: 네 영역 마무리 점검

네 영역을 훑었으니 이제 우리 조직 시험에 무엇이 필요한지 고르는 단계입니다. 아래 순서로 질문에 답해 보세요.

첫째, 시험의 성격부터 정합니다.

① 응시 인원은 얼마나 되고, 한 번에 몇 명이 보는가

② 시험이 상시로 열리는가, 정해진 날에 한 번에 열리는가

③ 결과가 응시자에게 미치는 영향이 큰가(자격·평가·선발) 작은가(학습 확인·연습)

둘째, 장소를 정합니다.

① 시험장형으로 가능한가

② 원격이 꼭 필요하다면 감독 수단을 어디까지 쓸 것인가(사람 감독 중심으로 시작, 필요한 수단만 추가)

③ 얼굴 인식 등 민감정보를 쓴다면 별도 동의·대체 수단·보관 기간을 정했는가

셋째, 문제은행 단계를 확인합니다.

① 분류 체계(과목·단원·난이도)가 있는가

② 문항 노출을 관리할 기록이 있는가

③ 응시 데이터가 쌓이는가 → 쌓이면 정답률 보정, 충분히 쌓이면 그때 적응형(CAT) 검토

넷째, 운영 안전망을 점검합니다. 도입 전 점검표(동시 접속, 장애 대응, 채점·공개·이의신청, 기록 보관, 접근성) 다섯 항목이 모두 문서화되어 있는지 확인합니다.

다섯째, AI는 마지막에 얹습니다. AI 감독이든 채점 보조든 문항 초안이든, 앞의 네 단계가 안정된 뒤에 작은 범위의 파일럿으로 시작해 보세요. 파일럿에서 오탐률과 점수 편차를 직접 확인하고, 사람이 최종 판단하는 구조를 유지하면서 범위를 넓히세요.

시험의 중요도가 높을수록 위 질문의 답을 더 보수적으로 잡으시길 권합니다. 결과가 응시자의 자격이나 선발에 직접 영향을 주는 시험이라면, AI 기능은 사람 확인을 거치는 보조 수단으로만 쓰고, 개인정보와 이의신청 절차를 더 촘촘히 설계하세요.

자주 하는 실수

도입 과정에서 자주 나오는 실수와 바로잡는 방법입니다.

실수 1. 문제은행 없이 시험 화면부터 만든다
화면은 금방 만들어지지만 문제은행은 쌓이는 데 시간이 걸립니다. 분류 체계와 노출 관리 기록을 먼저 설계하고, 화면은 그 위에 얹으세요.

실수 2. 임시 난이도로 적응형을 시도한다
출제자가 감으로 매긴 난이도로는 적응형 시험을 돌릴 수 없습니다. 고정형으로 시작해 응시 데이터를 쌓으세요.

실수 3. AI 경고를 곧바로 부정행위로 처리한다
AI 경고는 재확인 신호입니다. 사람이 영상·기록을 확인하고, 응시자의 소명 기회를 보장하는 절차를 먼저 만드세요.

실수 4. 얼굴 인식을 필수로 만들고 대체 수단을 두지 않는다
얼굴 인식 정보는 민감정보라 별도 동의가 필요하고, 원하지 않는 응시자를 위한 대체 수단이 있어야 합니다.

실수 5. 장애 대응 정책을 시스템 기능에만 맡긴다
이어 응시 때 시간을 어떻게 계산할지, 미완료 응시를 어떻게 채점할지는 기능이 아니라 정책입니다. 시험 전에 문서로 정하고 응시자에게 안내하세요.

실수 6. 모의시험 없이 본 시험을 연다
문서상 문제없던 기능도 실제로 돌리면 어긋납니다. 접속 끊김·시간 초과·답안 변경을 포함한 모의시험을 반드시 한 번 이상 하세요.

제대로 준비됐는지 최종 확인하기

아래 질문에 모두 "예"라고 답할 수 있다면 CBT 도입 준비가 된 것입니다. 하나라도 "아니오"라면 해당 영역으로 돌아가 보완하세요.

문제은행

① 문항마다 과목·단원·난이도 꼬리표가 붙어 있는가

② 무작위 출제와 보기 섞기 규칙이 설정되어 있고, 다른 보기를 참조하는 문항은 제외했는가

③ 문항별 출제 횟수를 기록하고 노출이 많은 문항을 쉬게 하는 규칙이 있는가

④ 응시 후 정답률로 난이도를 다시 점검하는 절차가 있는가

⑤ 적응형은 통계로 측정된 대규모 문제은행이 갖춰진 뒤에 검토하기로 했는가

부정행위 방지

⑥ 시험장형·원격형 중 우리 시험에 맞는 방식을 정하고 필요한 수단만 골랐는가

⑦ AI 경고를 사람이 재확인하고 응시자가 이의를 제기할 수 있는 절차가 있는가

⑧ 얼굴 정보를 쓴다면 별도 동의, 대체 수단, 보관·파기 기준이 있고 전문가 확인을 받았는가

도입 전 점검

⑨ 최대 동시 응시 인원 기준으로 부하 점검을 했는가

⑩ 끊겨도 답안이 자동 저장되고 이어 응시되며, 시간 계산과 미완료 채점 정책이 문서화되었는가

⑪ 채점·성적 공개·이의신청 흐름이 정해져 있는가

⑫ 응시 기록 종류별 보관 기간과 파기 절차가 있는가

⑬ 화면 확대·시간 연장·대체 수단 등 접근성 기능과 신청 절차가 있는가

AI 활용

⑭ AI가 만든 문항은 출제자 검수를 거친 뒤에만 등록하는가

⑮ AI 채점은 사람 채점의 확인용으로만 쓰고 최종 점수는 사람이 확정하는가

⑯ 소규모 파일럿으로 오탐과 집단별 점수 편차를 직접 확인하고 있는가

모의시험까지 마쳤다면 그제서야 실제 시험을 여세요. 📋

자주 묻는 질문

Q. 서술형 문항이 많은 시험도 CBT로 운영할 수 있나요?
A. 답안을 컴퓨터로 입력받는 것 자체는 가능합니다. 어려운 부분은 채점입니다. 객관식처럼 자동으로 채점되지 않으므로, 사람이 채점하는 흐름을 기본으로 두고 AI는 사람 채점의 확인용으로 시범 적용하는 순서를 권합니다. 국가기술자격에서도 객관식 필기에서 시작한 CBT를 필답형까지 단계적으로 넓히는 방향이 정부 기본계획에 담겨 있으나, 종목별 적용 시점은 공식 발표로 확인되지 않았습니다.

Q. 원격 시험에서 방 전체를 촬영하는 룸 스캔을 꼭 해야 하나요?
A. 꼭 필요한 기능은 아닙니다. 웨인주립대 지침처럼 방 내부 촬영과 AI 부정행위 탐지 도구를 사전 예외 승인 없이는 금지하는 기관도 있습니다. 응시자의 사생활을 더 많이 요구하는 수단일수록 필요성과 대안을 먼저 따져 보세요. 개인정보 처리에 관한 구체적 기준은 개인정보보호위원회 안내와 전문가를 통해 확인하세요.

Q. 문제은행은 문항이 몇 개쯤 있어야 하나요?
A. 정해진 기준 숫자는 없습니다. 시험 횟수, 한 번에 출제하는 문항 수, 노출을 얼마나 줄여야 하는지에 따라 달라집니다. 문항 수를 먼저 정하기보다, 분류 체계와 노출 기록을 갖추고 응시 데이터로 필요한 규모를 점검하며 늘려가는 방식을 추천합니다.

마무리: 네 영역을 순서대로, 작게 시작해서 넓히세요

CBT 시스템은 시험 화면이 전부가 아닙니다. 문제은행이 시험의 품질을 만들고, 부정행위 방지가 신뢰를 지키고, 도입 전 점검이 당일 사고를 막고, AI는 이 모든 것을 돕되 최종 판단은 사람이 합니다.

이 글의 핵심을 다시 짧게 정리합니다.

① 분류·무작위 출제·노출 관리·정답률 보정으로 문제은행을 순환 운영한다.

② 적응형은 통계로 측정된 대규모 문제은행이 있어야 가능하니, 고정형으로 시작해 데이터를 쌓는다.

③ 시험장형과 원격형은 통제 수단이 다르고, AI 감독의 경고는 사람이 재확인한다. 얼굴 정보는 민감정보라 별도 동의와 대체 수단이 필요하다.

④ 동시 접속·장애 대응·채점과 이의신청·기록 보관·접근성을 도입 전에 문서로 확인한다.

⑤ AI는 아직 검증하며 쓰는 단계이니, 문항 초안은 검수하고 서술형 채점은 사람 채점의 확인용으로 쓰는 식으로 작게 시작한다.

체크리스트를 출력해서 우리 시험에 맞춰 하나씩 지워가 보세요. 🚀