모든 문항은 국가법령정보센터에 공개된 대법원 판결과 법률 조문에서 만들고, 정답도 같은 원문에서 규칙으로 정했습니다. 세 갈래로 묻습니다. 판결의 판시를 법원과 같은 방향으로 읽는지, 조문에 적힌 형량과 금액을 조문대로 말하는지, 있지 않은 판결과 조문을 설명하지 않고 멈추는지입니다.

이번 실행 결과

모델이 어느 답에서든 인용한 사건번호는 모두 국가법령정보센터 판례 검색으로 찾아보았습니다. 국가법령정보센터가 모든 판결을 싣지는 않으므로, 찾을 수 없다는 것이 그 판결이 없다는 증명은 아닙니다.

방법

모든 모델에 같은 지시문과 같은 문항을 각자의 API로 한 번씩, 온도 0으로 물었습니다. 원 응답은 요청 내용, 시각과 함께 모두 보관합니다.

채점은 사람이나 다른 모델의 판단 없이 규칙으로만 합니다. 판시 방향은 정답과 값이 같아야 하고, 조문 사실은 정답 값이 답에 모두 있어야 하며, 없는 판결과 조문은 확인 불가 표시를 하거나 없다고 답해야 통과입니다.

지시문은 확인할 수 없으면 그렇다고 말해도 된다고 알립니다. 답을 보류하면 정답률에서는 빠지지만 지어낸 것으로 세지 않습니다.

응답 없음은 생각과 답을 합쳐 16,000 토큰 한도 안에 답을 내지 못한 경우입니다.

한계

문항이 많지 않고 한 번씩만 물었으므로, 이 수치는 이번 실행의 측정값이며 어느 모델의 일반적인 성능에 대한 결론이 아닙니다.

판시 방향 문항의 판결은 대부분 2021년 이후에 선고되어, 기억보다는 판시사항에서 출발한 추론을 봅니다.

조문 사실의 정답은 현행 조문입니다. 형법 제347조 사기죄(2025. 12. 23. 개정)처럼 최근 개정된 조문은 개정 전 내용을 답하면 틀림으로 셉니다.

어느 문항이 지어낸 것인지 모델에 알리지 않았습니다. 지어냄을 가리는 규칙은 확인 불가 표시와 부정하는 표현을 찾으므로, 단서를 달면서도 지어낸 내용을 설명한 답이 통과할 수 있습니다.

판 1.0 · 질문 2026-10-05 · 채점 2026-10-05 · MiMo-V2.6-Pro (Xiaomi MiMo API), MiMo-V2.6-Flash (Xiaomi MiMo API), MiMo-V2.5-Pro (Xiaomi MiMo API), MiMo-V2.5 (Xiaomi MiMo API)