Summary
인공지능 평가 평균이 오를 때는 사건 구성과 조건별 성과, 응답 유보 범위와 오류의 영향 기능을 먼저 분리해 비교해야 한다. 작업 단위와 규범 조건을 명시하고 유보 사건의 인계 비용까지 함께 기록할 때만 구성 변화를 능력 향상으로 오인하지 않는다.
6.1평균 상승 뒤의 사건 구성 분리
평가 점수가 올랐을 때 먼저 물어야 할 것은 같은 사건 조건에서 답이 나아졌는지이다. 평가 묶음에 쉬운 사건이 많아지면 조건별 성능이 그대로여도 평균은 오를 수 있다. 이 편은 언어와 사건, 관할 사이의 성능 차이를 어떤 분모와 조건으로 비교할지를 묻는다. 중심 명제는 사건 구성과 조건별 성과, 응답 범위와 오류 영향을 분리해야 한다는 것이다. 미측정 조건으로의 이전은 별도 근거와 재평가 조건을 요구한다. 평균을 버리자는 제안이 아니라 평균을 만든 구성과 조건별 결과를 함께 기록하자는 것이다. 이 구분 없이는 자료 구성의 변화를 능력 변화로 오인한다. 그 오인이 이어지면 특정 집단의 열악한 지원이 평균 뒤에 숨는다.
6.2정형·예외 비중과 유보 사건 기록
합성사례에서 도구는 정형 기록에 강하고 예외가 많은 기록에 약하다고 가정한다. 첫 묶음은 정형 비중이 높고 다음 묶음은 예외 비중이 높으며 유형별 성능은 변하지 않는다. 이때 평균 차이는 도구 개선이 아니라 구성 차이를 보여준다. 실제 비교에서는 공통 구성 결과와 예정 사용 집단 구성 결과를 나란히 낼 수 있다. 전자는 같은 조건 비교를 돕고 후자는 배치의 업무 부담을 드러내며, 어느 쪽도 다른 쪽을 대신하지 않는다. 서로 다른 언어의 질문이 비슷해 보여도 적용 규범과 필요 자료가 다르면 같은 과업이 아니다. 작업 단위와 제공 정보, 평가할 답의 범위를 먼저 적고, 번역문을 쓰더라도 법적 의미 대응은 별도로 확인해야 한다. 도구가 어려운 사건에서 답을 유보하면 오류를 줄일 수 있지만, 유보 사건을 빼고 비교하면 회피를 개선으로 읽게 된다. 배정 전체와 실제 답변을 따로 기록하고 유보 이후 인계 경로와 비용을 구분해야 한다.
6.3표본 부족 반론과 조건별 병기
가장 강한 반론은 조건을 잘게 나누면 표본이 부족해져 실제 의사결정이 어려워진다는 것이다. 세분화만으로 타당성이 생기지 않으며 불확실한 순위는 포기해야 한다는 점은 인정한다. 답은 사전에 정의한 의미 있는 조건만 나누고 통합값과 미측정을 함께 제시하는 것이다. 오류 수가 같아도 자료 위치의 오표기와 대응 조건의 오안내는 효과가 다를 수 있으므로 오류 유형과 영향 기능을 함께 기록한다. 가중치를 쓴다면 누가 어떤 이유로 정했는지 밝혀야 하며 특정 수치 문턱을 제안하지 않는다. 자료가 적다는 이유로 다른 관할 점수를 가져오면 미측정이 측정처럼 보이므로, 공유 작업과 규범 조건을 먼저 명시하고 고유 부분까지 보증하지 않는다. 작업 대응이나 오류 분류가 재현되지 않으면 통합 비교를 철회한다. 실제 성능 차이나 국가별 우위, 미래 모델의 정확도는 주장하지 않는다.