법률총서 · 제2총서 › 제IV부 대응체계의 운영과 통합 검증 › II-15 · 초판
공개검증과 자기교정: 연구·AI·비밀보호의 책임
상대가 우리 연구의 오류나 AI 인용 실패를 발견했을 때, 어느 결론에 영향을 주며 어떤 문서를 바로잡을 것인가?
이 권의 목차
- 초록
- 합성 사례
- 01연구자료의 지위: 무엇을 어떤 것으로 표시하는가
- 02공개 범위: 익명화와 분리의 한계
- 03원문과 서지 검증: 인용이 주장의 근거가 되는가
- 04검수와 미확인의 보존, 변경에 따른 재검토
- 05미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 06AI 검증과 사람이 책임지는 지점
- 07반대 검토의 설계: 역할과 자료 범위
- 08사전 검증과 평가 지표의 의미
- 09평가의 오류와 합성 검증의 한계
- 10미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 11수정 이력과 정정·철회의 판단
- 12외부 전달 문서와 오류 원인의 재발 방지
- 13미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 14자기교정 체계의 완결 검증과 남는 물음
초록
이 권은 상대가 우리 연구의 오류나 AI 인용 실패를 지적해 왔을 때, 어느 결론이 영향을 받고 어떤 문서를 정정과 철회 가운데 무엇으로 어떤 순서로 바로잡을 것인지를 묻는다. 먼저 연구자료의 지위와 표지, 공개 범위와 익명화의 한계를 정리한 뒤, 원문과 서지의 검증, 번역·요약·발췌의 검수와 미확인의 보존, 법령·판례 변경에 따른 재검토를 차례로 살핀다. 다음으로 AI 작성과 검토의 이력 기록, 사람이 책임지는 지점, 반대 검토의 설계, 사전 검증과 평가 지표의 의미, 합성 검증의 한계를 다룬다. 이어 오류 유형과 영향받는 주장·서면·분석의 연결, 수정 이력과 정정·철회의 판단, 외부 전달 문서의 후속 관리와 오류 원인의 재발 방지를 살핀다. 끝으로 검증 기록의 공개 형식과 자기교정 체계의 완결을 점검하고 남는 물음을 정리한다. 합성 사례로, 상대측이 손해 계산서의 일부 수치와 서면에 인용된 근거가 원문에서 확인되지 않는다는 검토 의견을 보내 왔고 우리 측에는 AI 초안·출처·인용 검증 대장·계산 재실행 자료·내부 검토 메모가 남아 있는 상황을 전제한다.
합성 사례
이 권 전체가 따라가는 가상의 사례입니다. 실제 사건이 아니며, 사실관계는 법적 판단이 아닙니다.
상대측은 우리 측이 제출한 손해 계산서의 일부 수치와 서면에 인용된 근거가 원문에서 확인되지 않는다는 지적과 함께 검토 의견을 보내 왔다. 우리 측에는 작성 당시의 AI 초안, 출처·인용 검증 대장, 계산 재실행 자료, 내부 검토 메모가 남아 있다. 어느 결론이 영향을 받는지, 정정과 철회 가운데 무엇인지, 어떤 문서를 먼저 바로잡을지, 공개 문안을 함께 고칠지 은 미정이다.
14개 장과 각 장의 물음
- 01연구자료의 지위: 무엇을 어떤 것으로 표시하는가
공개 원문·합성 자료·비공개 기록을 구별하고 사실·해석·가설·제안·성과의 표지를 붙이는 기준은 무엇인가?
10분 - 02공개 범위: 익명화와 분리의 한계
익명화와 재식별 위험을 검토하고 공개본과 내부 자료를 분리한 뒤, 공개할 수 없는 근거를 어디까지 설명할 수 있는가?
12분 - 03원문과 서지 검증: 인용이 주장의 근거가 되는가
인용이 존재하는지, 주장을 실제로 지지하는지, 공식 원문과 재인용 자료의 차이를 어떻게 확인하는가?
9분 - 04검수와 미확인의 보존, 변경에 따른 재검토
번역·요약·발췌를 검수하고 확인하지 못한 것을 남긴 뒤, 법령·판례 변경에 따라 무엇을 다시 볼 것인가?
8분 - 05미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
작성 모델·자료 범위·버전을 어디까지 기록하고, 모델 계열과 독립성을 어떻게 구별하며, 검토 메모를 공유한 평가의 한계를 어떻게 표시하는가?
13분 - 06AI 검증과 사람이 책임지는 지점
최적화 대상과 보고용 평가를 분리하고 인용·계산·논리 오류를 따로 검증한 뒤, 어디서 사람이 판단하고 책임져야 하는가?
9분 - 07반대 검토의 설계: 역할과 자료 범위
작성자와 검토자를 어떻게 나누고, 검토자에게는 어떤 자료를 주어야 반대 검토가 의미를 가지는가?
11분 - 08사전 검증과 평가 지표의 의미
알려진 오류를 포함한 사전 검증에서 일치도와 정확도가 각각 무엇을 뜻하는가?
7분 - 09평가의 오류와 합성 검증의 한계
거짓 통과와 과도한 실패 판정을 어떻게 구분하고, 합성 검증 결과가 실제 성과를 대신하지 못하는 까닭은 무엇인가?
7분 - 10미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
오류를 사실·법리·계산·공개 유형으로 나눈 뒤, 어떤 주장·서면·분석이 영향을 받는지 어떻게 연결하는가?
18분 - 11수정 이력과 정정·철회의 판단
조용한 덮어쓰기 대신 수정 이력을 남기려면 무엇을 기록하고, 어떤 경우에 정정·철회·재검토를 선택하는가?
7분 - 12외부 전달 문서와 오류 원인의 재발 방지
이미 외부에 전달한 문서를 어떻게 후속 관리하고, 오류 원인을 무엇까지 밝혀 재발을 막을 것인가?
9분 - 13미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
확인한 범위와 확인하지 못한 범위, 검토 의견과 실제 수정의 차이, 외부 전문가 검토의 실제 여부를 공개 기록에 어떻게 구분해 적는가?
11분 - 14자기교정 체계의 완결 검증과 남는 물음
오류 한 건에서 영향을 받는 결론·계산·서면·공개 문안까지 추적하고, 재검토 결과를 원래 기록과 함께 남길 수 있는가?
8분