공개판정대장 · 교차 판독
교차 판독 실행 조건
PRO SE 공개판정대장 · 다른 계열 AI 블라인드 독립 판독 · 2026-10-16
원 응답과 대조 기록을 공개한 판정대장 항목 345건의 실행 조건입니다.
1차 판독
1차 판독은 Claude Opus 5.5가 국가법령정보센터 원문(판시사항·판결요지·주문·참조조문·참조판례·이유 앞부분)을 읽고 작성했다. 항목별 작성 경로는 provenance.jsonl에 있다.
Claude Message Batches API 기록 6개 배치 · 요청 219건 · 비용 9.63달러(배치 가격 기준).
블라인드 독립 판독
독립 판독은 1차 판독을 보지 않고 같은 원문(판시사항·판결요지·주문·참조판례·참조조문)만 받아 8개 축을 작성했다.
- 모델
- gpt-6-astra (OpenAI)
- 도구
- codex-cli 0.161.0, codex exec, read-only sandbox, ephemeral
- 추론 강도
- medium
축별 대조
결론·판단 기준의 형태·선례 관계·증명 책임 4개 축은 값이 같은지를 기계적으로 비교했다. 쟁점·판단·판단 요소·남은 물음 4개 축은 같은 codex가 두 판독을 나란히 받아 같은 취지인지 판정했다(이 단계는 블라인드가 아니다). 일치율 계산에 Claude는 판정자로 참여하지 않았다.
판결요지가 없는 판결
국가법령정보센터 원문에 판결요지가 실려 있지 않은 판결(holdingSource "issues")은 판시사항을 인용 기준으로 삼았다. 1차 판독과 독립 판독 모두 판시사항·주문·참조조문·참조판례·이유를 받았고, 핵심 인용과 판단 요소는 판시사항에서 글자 그대로 옮겼다.
표기 정리
공개 문서 표기 규칙에 따라 독립 판독 문장의 한자와 전각 문장부호는 지우거나 반각으로 바꿨다. 원 응답 값은 blind-readings.jsonl과 adjudications.jsonl에 정리 전 그대로 있다.
지시문 원문
블라인드 독립 판독 지시문
너는 대법원 판결을 독립적으로 판독하는 연구자다. 이 폴더의 입력 파일 하나(아래 명령에서 지정)에 판결 몇 건의 국가법령정보센터 원문이 들어 있다. issues는 판시사항, holding은 판결요지(결정요지), order는 주문, precedents는 참조판례, statutes는 참조조문이다. 다른 사람의 판독은 주어지지 않는다. 원문만 읽고 판결마다 아래 8개 축을 스스로 판단해 출력 스키마대로 답해라.
1. issue(쟁점): 판결이 답한 법적 물음 한 문장, ?로 끝낸다.
2. answer(판단): 그 물음에 대한 판결의 답 한두 문장.
3. disposition(결론): 주문이 원심판결을 어떻게 처리했는지. 파기환송 · 일부 파기환송 · 파기자판 · 기각 · 기타 중 하나. quote는 order에서 글자 그대로 옮긴 구절.
4. standard(판단 기준의 형태): 요건 제시(성립 요건을 밝힘) · 종합 고려(여러 사정을 종합해 판단하라고 함) · 사안 적용(기존 기준을 이 사안에 적용함) 중 하나. 판결요지 전체의 무게중심으로 판단한다. quote는 holding이나 issues에서 근거가 된 구절을 글자 그대로.
5. factors(판단 요소): 판결이 판단 근거나 고려 요소로 든 것 2~5개를 holding이나 issues에서 글자 그대로 옮긴다.
6. precedent(선례 관계): 판례 변경 · 기존 판례 따름 · 새 기준 제시 · 확인 불가 중 하나. quote는 holding이나 precedents에서 글자 그대로. 근거가 없으면 빈 문자열.
7. burden(증명 책임): 검사 · 주장하는 쪽 · 상대방 · 언급 없음 중 하나. 판시사항·판결요지가 누가 무엇을 증명해야 하는지 밝힐 때만 값을 주고, 아니면 언급 없음과 빈 quote.
8. openQuestion(남은 물음): 판결이 답하지 않고 남긴 물음 한 문장, ?로 끝낸다.
규칙: quote와 factors는 주어진 원문의 정확한 부분 문자열이어야 한다(글자를 바꾸거나 줄이지 말 것). 한자, 일본어 가나, 전각 문장부호, 가운뎃점 ㆍ, 대시 —·–를 쓰지 마라. 입력의 판결을 하나도 빠뜨리지 말고 caseNo를 입력과 똑같이 적는다. 파일을 고치거나 만들지 말고 답만 출력한다.판결요지가 없는 판결의 독립 판독 지시문
너는 대법원 판결을 독립적으로 판독하는 연구자다. 이 폴더의 입력 파일 하나(아래 명령에서 지정)에 판결 몇 건의 국가법령정보센터 원문이 들어 있다. issues는 판시사항, holding은 판결요지(결정요지), order는 주문, precedents는 참조판례, statutes는 참조조문이다. 다른 사람의 판독은 주어지지 않는다. 원문만 읽고 판결마다 아래 8개 축을 스스로 판단해 출력 스키마대로 답해라.
1. issue(쟁점): 판결이 답한 법적 물음 한 문장, ?로 끝낸다.
2. answer(판단): 그 물음에 대한 판결의 답 한두 문장.
3. disposition(결론): 주문이 원심판결을 어떻게 처리했는지. 파기환송 · 일부 파기환송 · 파기자판 · 기각 · 기타 중 하나. quote는 order에서 글자 그대로 옮긴 구절.
4. standard(판단 기준의 형태): 요건 제시(성립 요건을 밝힘) · 종합 고려(여러 사정을 종합해 판단하라고 함) · 사안 적용(기존 기준을 이 사안에 적용함) 중 하나. 판결요지 전체의 무게중심으로 판단한다. quote는 holding이나 issues에서 근거가 된 구절을 글자 그대로.
5. factors(판단 요소): 판결이 판단 근거나 고려 요소로 든 것 2~5개를 holding이나 issues에서 글자 그대로 옮긴다.
6. precedent(선례 관계): 판례 변경 · 기존 판례 따름 · 새 기준 제시 · 확인 불가 중 하나. quote는 holding이나 precedents에서 글자 그대로. 근거가 없으면 빈 문자열.
7. burden(증명 책임): 검사 · 주장하는 쪽 · 상대방 · 언급 없음 중 하나. 판시사항·판결요지가 누가 무엇을 증명해야 하는지 밝힐 때만 값을 주고, 아니면 언급 없음과 빈 quote.
8. openQuestion(남은 물음): 판결이 답하지 않고 남긴 물음 한 문장, ?로 끝낸다.
규칙: quote와 factors는 주어진 원문의 정확한 부분 문자열이어야 한다(글자를 바꾸거나 줄이지 말 것). 한자, 일본어 가나, 전각 문장부호, 가운뎃점 ㆍ, 대시 —·–를 쓰지 마라. 입력의 판결을 하나도 빠뜨리지 말고 caseNo를 입력과 똑같이 적는다. 파일을 고치거나 만들지 말고 답만 출력한다.
이번 입력의 판결 가운데 holdingSource가 "issues"인 것은 국가법령정보센터 원문에 판결요지가 실려 있지 않아 holding이 빈 문자열이다. 그런 판결은 판시사항(issues)과 이유(reasons)를 읽고 판단한다. standard의 quote와 factors는 issues에서, 나머지 축의 quote는 issues·order·precedents·statutes·reasons 중 하나에서 글자 그대로 옮긴다.판결요지가 없는 판결의 1차 판독 추가 지시
## 판결요지가 없는 판결(holdingSource가 "issues"인 경우)
국가법령정보센터 원문에 판결요지(결정요지)가 실려 있지 않은 판결이 있다. 이때 입력의 holding은 빈 문자열이고 holdingSource는 "issues"다. 이 판결은 이렇게 판독한다.
- holdingQuote: 판시사항(issues)에서 글자 그대로 옮긴 핵심 구절.
- factors: 판시사항(issues)에서 글자 그대로 옮긴 구절 2~5개. 판시사항이 짧으면 그 안의 서로 다른 명사구를 고른다.
- 각 축의 quote: issues·order·precedents·statutes·reasons(이유) 중 하나의 정확한 부분 문자열. standard·burden·precedent의 판단은 이유를 실제로 읽고 내린다.
- answer와 lowerCourtContrast는 이유에서 확인되는 만큼만 쓴다. 판결요지가 없다는 사정은 답에 적지 않는다(화면에 따로 표시한다).축별 대조 지시문
너는 대법원 판결 판독 두 개를 대조하는 심사자다. 입력 파일(아래 명령에서 지정)에는 판결마다 원문(issues·holding·order), 1차 판독(primary), 독립 판독(independent)이 들어 있다. 독립 판독은 1차 판독을 보지 않고 원문만 읽고 만든 것이다. 아래 네 축에서 두 판독이 같은 취지인지 판정하고, 차이가 있으면 무엇이 어떻게 다른지 한 문장으로 적어라. 원문을 기준으로 어느 쪽이 맞는지는 판정하지 않는다.
- issue(제1축 쟁점): 두 판독이 판결이 답한 같은 법적 물음을 가리키는가. 표현이 달라도 같은 물음이면 same=true. 한쪽이 판시사항 여러 개 중 일부만 담아도 중심 물음이 같으면 same=true.
- answer(제2축 판단): 그 물음에 대한 판결의 답을 같은 방향과 같은 요지로 읽었는가.
- factors(제5축 판단 요소): 두 판독이 든 판단 요소가 실질적으로 같은 것들인가(절반 이상 겹치고 중심 요소가 같으면 same=true).
- openQuestion(제8축 남은 물음): 두 판독이 판결이 남긴 같은 미해결 지점을 가리키는가.
- enumNotes: 입력의 enumDiffs에 적힌 축(결론·판단 기준의 형태·선례 관계·증명 책임 가운데 값이 서로 다른 축)마다, 두 판독이 왜 다르게 읽을 수 있는지 원문에 비추어 한 문장 note를 적는다. enumDiffs가 비어 있으면 빈 배열.
note는 same=true여도 짧게 적는다. 한자, 일본어 가나, 전각 문장부호, 가운뎃점 ㆍ, 대시 —·–를 쓰지 마라. caseNo는 입력과 똑같이, 판결을 빠뜨리지 말 것. 파일을 고치거나 만들지 말고 답만 출력한다.원본 파일
- 실행 조건 원본 · protocol.json
- 블라인드 독립 판독 원 응답 · blind-readings.jsonl
- 축별 대조 원 응답 · adjudications.jsonl
- 1차 판독 배치 기록(토큰·비용) · claude-batches.json
- 항목별 작성 경로 · provenance.jsonl
- codex 실행 시각과 종료 코드 · codex-runs.jsonl
- SHA-256 목록 · manifest.json
- 실행 조건 영어 번역 · en/protocol.json
- 블라인드 독립 판독 영어 번역 · en/blind-readings.jsonl
- 축별 대조 영어 번역 · en/adjudications.jsonl
- 항목별 작성 경로 영어 번역 · en/provenance.jsonl
- 1차 판독 배치 기록 영어 번역 · en/claude-batches.json
- 영어 번역 SHA-256 목록 · en/manifest.json