요약
검토를 한 번 더 받았어도 안심할 수 없는 까닭을 편집자가 마주한 장면에서 묻는다. 통과 도장이 남긴 것과 일치와 정확성의 구별, 같은 자료로 배운 두 모델, 검토 메모가 남긴 자취를 차례로 살피면서 오류가 두 번 통과하는 구조를 드러낸다. 구체적인 단계 설계와 자동 대조 방법은 뒷장에 맡긴다.
1.1편집자가 본 장면
장: 도장 두 개의 불안
이전 단위에서 확인한 대로, 이 사례의 관찰 사실은 모두 출판사 편집자의 자리에서 수집되었다. 그렇다면 편집자가 지금 목도한 장면을 무엇이 확인된 사실이고 무엇이 미정으로 남는지에 따라 갈라 읽는 것이 먼저이다.
사례에 적힌 사실은 우선 네 가지이다. 편집자는 초안 모델 A가 쓴 장을 같은 회사 계열의 상위 모델 B에게 넘겨 검토를 맡겼고, B는 "문제없음"이라는 메모와 함께 통과 도장을 남겼으며, 그 뒤 자동 대조 절차에서 초안에 적힌 원문 인용 한 곳의 조항 번호가 자료의 실제 조항과 다르다는 사실이 확인되었고, 두 모델은 같은 학습 자료로 배운 것으로 알려져 있다. 여기까지가 관찰된 사실의 전부이다.
같은 학습 자료를 쓴 두 모델이 같은 지점에서 같은 판단을 냈다는 점은, 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3에서 아래와 같이 정의한 바와 겹친다. "“Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm." 두 모델이 왜 같은 지점에서 같은 판단을 내렸는지에 관하여는 사례에 적힌 사유가 없다. 따라서 알고리즘 단일화라는 정의를 그대로 대입하기에도 사례가 말한 이유가 미정으로 남는다.
한편 초안의 원문 인용 한 곳에서 조항 번호가 자료의 실제 조항과 다르다는 확인 사실은, 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)이 아래와 같이 기술한 현상과 구분되어야 한다. "“Confabulation” refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts." 사례가 확인한 것은 인용의 조항 번호가 자료의 실제 조항과 다르다는 점에 그치며, 그 오류가 어떻게 생성되었는지에 관한 사실은 적혀 있지 않다.
인용 오류의 성격을 가를 때 위 자료가 함께 밝힌 아래 문장이 참고된다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output." 다만 이 사례에서 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다. 편집자가 확정 손해나 고의 같은 법적 평가를 내리기 전에, 확인된 사실은 조항 번호가 자료의 실제 조항과 다르다는 점과 검토를 맡긴 B가 "문제없음"이라는 메모와 통과 도장을 남겼다는 점에 그친다.
1.2통과 도장이 남긴 것
자동 대조가 인용 조항 번호의 차이를 드러냈으므로, 이제 '문제없음'이라는 메모와 통과 도장이 무엇을 가리키는 표시인지 묻게 된다. 이 두 흔적이 초안의 문장과 자료를 실제로 대조한 결과를 남긴 것인지, 아니면 다른 무엇을 뜻하는지에 따라 검토의 범위가 달라진다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 판단이 겹친 사실과 판단이 옳은 사실을 나누어 말한다. 그 지침은 "One major disadvantage with agreement measures is that agreement is not a measure of "correctness." Two tests could agree and both be wrong."라고 적는다. 두 표시가 같은 방향을 가리켜도 그것이 내용이 맞다는 뜻은 되지 않는다. 이 사례에서 B가 남긴 통과 도장이 A의 초안과 같은 판단을 보여줄 뿐이라는 관찰이 여기에 맞는다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 겹침의 정도로도 옳고 그름을 확정할 수 없음을 이어서 설명한다. 그 문장은 "In fact, two tests could agree well, but both have poor sensitivity and specificity."이다. 이 사례에서 두 모델이 같은 학습 자료로 배운 것으로 알려진 사실은, 두 판단이 겹친 까닭과 그 겹침이 실제와 얼마나 가까운지를 가르는 데 쓰일 수 없다. 그 사정은 미정으로 남는다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 반대로 판단이 어긋난 경우에도 어느 쪽을 옳다고 단정할 수 없다는 점을 적는다. 그 지침은 "However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."라고 말한다. 자동 대조가 인용 조항 번호의 차이를 찾아낸 뒤에도, 어느 쪽이 실제와 맞는지 확정하기 위한 자료는 주어지지 않았다.
통과 도장이 초안의 모든 인용을 대조했음을 보여준다는 근거는 장면에 적혀 있지 않다. 도장이 남긴 것은 문제없음이라는 메모와 함께 놓인 표시이고, 그 표시가 다룬 대상과 확인한 범위는 미정이다. 원문과의 일치나 인용의 정확성이 확인된 것으로 읽으려는 데 필요한 근거는 아직 없다.
1.3일치와 정확성의 구별
동의가 남았으므로 이제 그 동의가 무엇과 무엇이 붙은 표시인지가 문제로 남는다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 "One major disadvantage with agreement measures is that agreement is not a measure of “correctness.” Two tests could agree and both be wrong. In fact, two tests could agree well, but both have poor sensitivity and specificity. However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."라고 밝힌다. 이는 일치와 정확성이 서로 다른 값을 가리킨다는 뜻이다. 두 모델이 같은 결론에 이른 것은 그 둘의 응답이 겹쳤다는 사실을 말할 뿐, 그 결론이 원문과 맞다는 사실을 함께 말하지 않는다.
나아가 전체 일치의 수치를 품질의 확정된 척도로 세우는 일도 경계된다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 "One should also be aware that measures of overall agreement (including both overall percent agreement and Cohen’s Kappa) can be misleading in this setting. In some situations, overall agreement can be good when either positive or negative percent agreement is very low. For this reason, FDA discourages the stand-alone use of measures of overall agreement to characterize the diagnostic performance of a test."라고 적는다. 전체 일치율이나 카파 값 하나가 높게 나와도, 그 값이 검토의 품질을 확정하는 척도가 되지는 않는다. 그러므로 통과 도장과 메모가 남긴 겹침만을 두고 검토가 맞았다고 단정할 수 없다.
일치 판정이 오류 확인 절차로 고쳐진 자리에서도 값은 섞이지 않아야 한다. 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽은 "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard."라고 덧붙인다. 이는 서로 어긋난 결과를 다듬어 다시 세운 값을 그대로 믿지 말라는 뜻이다. 따라서 자동 대조 절차가 가려낸 조항 번호의 차이를 두고, 앞선 검토의 동의를 그 차이를 바로잡은 근거로 삼을 수 없다.
사례에 확인된 사실만 두고 정리하면, 두 모델의 판단이 겹친 것과 그 인용의 조항 번호가 실제 자료와 같은 것은 서로 다른 관찰이다. 전자는 메모와 도장으로 확인되었고, 후자는 대조 절차에서 어긋남이 확인되었다. 이 관찰들을 두 모델의 능력이나 검토의 완결성에 대한 확정된 평가로 옮길 근거는 아직 없다. 일치가 정확성을 대신하지 않는다는 구별만이 이 자리에서 분명하게 남는다.
1.4같은 자료의 두 모델
판단이 겹친다는 사실만으로 그 판단이 서로 독립적으로 마련된 것이라 할 수는 없다. 그러면 같은 학습 자료로 배운 초안 모델 A와 검토 모델 B가 같은 지점에서 같은 판단을 내린 까닭을 어디까지 밝힐 수 있는지 묻는다.
NIST는 같은 모델을 되풀이하여 쓰는 일이 어떤 결과를 낳는지 다음으로 정의한다. "3 "Algorithmic monocultures" refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm."(NIST AI 600-1, 2절 각주 3) 이 정의는 여러 주체가 같은 알고리즘에 의존할 때 계통적 실패가 얽힐 수 있음을 말한다. 사례에서 A와 B는 같은 학습 자료로 배운 것으로 알려져 있으므로, 두 모델의 판단이 얽일 가능성은 열려 있다. 다만 두 모델이 왜 같은 지점에서 같은 판단을 내렸는지는 미정이다.
같은 자료에서 나온 오류가 겹칠 때에는 그 오류의 성격도 함께 살핀다. NIST는 허위 내용을 확신을 담아 내놓는 현상을 이렇게 적는다. ""Confabulation" refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts. Confabulations also include generated outputs that diverge from the prompts or other input or that contradict previously generated statements in the same context. These phenomena are colloquially also referred to as "hallucinations" or "fabrications.""(NIST AI 600-1, 2절 각주 3) A가 초안에서 원문 인용의 조항 번호를 잘못 적은 일이 이 정의에 드는지는 이 사실만으로 단정할 수 없다. 번호가 다른 이유와 그것이 생성된 경위는 밝혀지지 않았다.
인용에 붙은 근거가 함께 틀릴 수 있다는 점도 NIST가 짚는다. 그 까닭을 설명하는 대목은 다음과 같다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system's answer, which may further mislead humans into inappropriately trusting the system's output."(NIST AI 600-1, 2절 각주 3) 초안에 적힌 조항 번호는 그 인용을 뒷받침하는 자리에 놓여 있었다. 그러므로 번호가 다르다는 사실은 인용의 근거를 검토할 때 놓쳐서는 안 될 대목이다.
B는 "문제없음"이라는 메모와 함께 통과 도장을 남겼다. 그런데 구조화된 인간 피드백을 맡은 이가 같은 모델의 개발 업무에서 떨어져 있어야 한다는 항목은 이렇게 적힌다. "MS-1.3-003 Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."(NIST AI 600-1, MS-1.3-003) A와 B가 같은 학습 자료로 배웠다는 사실만으로 B가 A의 개발 업무에 직접 관여했다고는 할 수 없다. 두 모델의 관계에 관한 더 알려진 사실은 없다.
한편 측정으로 잡히지 않는 위험을 함께 기록하라는 항목도 있다. 그 문장은 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."(NIST AI 600-1, MS-1.1-009) 두 모델이 같은 판단을 왜 내렸는지, 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지, 조항 번호가 다른 인용이 최종 결과에 어떤 영향을 미쳤는지는 미정이다. 이 미정의 대목들은 측정되지 않은 채 남는다. 다만 관찰된 사실들만으로 확정 손해나 고의 같은 법적 평가가 이루어지는 것은 아니다.
1.5검토 메모가 남긴 자취
같은 자료에서 나온 판단이 두 자리에 겹친 뒤에도, 편집자는 검토 메모가 초안과 다음 검토에 무엇을 남겼는지를 따로 살펴보아야 한다. 편집자가 내려둔 메모는 짧았지만, 그 메모가 이어지는 절차에서 어떤 자취를 남길 수 있는지는 기록과 추적의 항목에 견주어야 드러난다.
먼저 검토 메모 자체가 어떤 기록에 해당하는지를 살핀다. NIST 자료는 시스템 목록 항목에 담을 사항을 열거하면서 보관과 추적의 범위를 넓게 잡는다. NIST AI 600-1의 GV-1.6-003은 "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes."라고 적는다. 편집자가 붙인 메모는 감독 역할과 책임에 관한 사람의 행위 기록으로 볼 여지가 크며, 누가 어느 시점에 무엇을 확인했는지가 함께 남아야 그 자취가 읽힌다.
측정하기 어려운 사정도 그대로 적어 두어야 한다는 점이 다음 근거다. 같은 자료의 MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 적는다. 이 사례에서 두 모델이 같은 판단에 이른 까닭과 메모가 다음 검토에 준 영향은 아직 수치로 잡히지 않았고, 미정인 채로 기록에 남겨야 한다.
그 기록을 남기는 사람을 고르는 기준도 함께 둔다. 같은 자료의 MS-1.3-003은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."라고 적는다. 초안에 관여한 모델과 그 결과를 검토한 모델이 같은 학습 자료로 배웠다는 사실은 이 기준을 그대로 충족하는지 판단할 자료가 되지 못하며, 같은 자료의 MS-1.3-002가 "Engage in internal and external evaluations, GAI red-teaming, impact assessments, or other structured human feedback exercises in consultation with representative AI Actors with expertise and familiarity in the context of use, and/or who are representative of the populations associated with the context of use."라고 적는 대목과 맞물려도 독립성을 보증하는 근거가 되지는 못한다.
메모와 오류가 함께 흘러간 자취는 오류의 기록 절차에서 남는다. 같은 자료의 MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 적는다. 통과 도장과 함께 남은 메모는 이 기록이 따라야 할 절차의 산물로 볼 수 있으며, 메모가 다음 검토에 준 방향은 사례에 적힌 사실만으로는 정해지지 않았다.
이 사례에서 관찰된 것은 짧은 메모 하나가 기록과 추적의 항목에 얹혀 흘러간다는 사실이다. 메모가 초안과 다음 검토에 남긴 영향과 두 모델이 같은 판단에 이른 까닭은 미정으로 남는다.
1.6두 번 통과한 오류
검토 메모가 다음 검토에 남긴 자취를 따라온 뒤에 남는 물음은, 자동 대조가 찾아낸 조항 번호 불일치 하나가 이 절차의 어떤 점을 드러내는지이다. 출판사 편집자는 초안에 적힌 원문 인용 한 곳의 조항 번호가 자료의 실제 조항과 다르다는 사실을 확인하였고, 이 확인은 초안 작성이든 검토든 거치지 못한 지점이 있었다는 사실만을 가리킨다. 무엇을 왜 잘못 인용했는지, 또 그 오류가 왜 두 차례의 통과를 모두 지나쳤는지는 미정이다.
미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 6절에서는 일치가 정답을 뜻하지 않는다고 하였다. 그 문장은 "Two tests could agree and both be wrong."이다. 두 모델이 같은 지점에서 같은 판단을 내렸다는 사실 자체가 두 판단이 옳다는 뜻은 아니며, 자동 대조가 확인한 오류는 그 일치의 무게를 가볍게 하는 관찰이다. 같은 문장은 "However, when two tests disagree, that does not mean that the new test is wrong and the comparative method is right."까지 나아가는데, 불일치가 확인된 지금 역시 어느 쪽이 옳은지를 곧바로 정해 주지는 않는다.
같은 자료의 4.1절은 일치 지표를 홀로 쓰지 말 것을 권한다. 그 까닭으로 "In some situations, overall agreement can be good when either positive or negative percent agreement is very low."를 들었다. 두 모델의 판단이 서로 맞아떨어졌다는 관찰은 오류가 통과를 거치는 동안 무엇을 놓쳤는지를 대신 알려주지 못하며, 그 빈 자리는 그대로 남는다.
미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2.2절은 오류 인용을 이렇게 설명한다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system's answer, which may further mislead humans into inappropriately trusting the system's output." 인용 근거가 읽는 사람을 잘못 끌어들일 수 있다는 이 설명은, 조항 번호가 어긋난 인용이 초안과 검토를 어떻게 통과했는지를 묻는 물음과 이어진다. 같은 학습 자료로 배운 두 모델이 같은 판단에 이른 까닭과, 그 공통이 오류 통과에 어떤 영향을 주었는지는 미정이다.
확인된 오류 하나를 두고 확정 속해나 고의 같은 법적 평가에 이르지는 않는다. 미국 상무부 국립표준기술연구소(NIST), 위 자료, MS-1.1-009에서는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations)."라고 하여, 수치로 재지 못하는 위험도 함께 적어 두도록 하였다. 그리고 같은 자료 MG-4.3-002는 "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 하여, 오류가 보고되고 추적되도록 절차를 두라고 하였다. 이 두 항목에 비추어 보면 자동 대조가 찾아낸 불일치는 고쳐 쓰이는 값이 아니라 기록되어 추적되는 오류로 남는다.
앞서 FDA의 같은 자료는 바꾸거나 갱신한 결과를 성능 추정에 쓰지 말라고 하였다. 그 문장은 "You should not use outcomes that are altered or updated by discrepant resolution to estimate the sensitivity and specificity of a new test or agreement between a new test and a non-reference standard."이다. 조항 번호를 바로잡은 뒤의 값을 돌려세워 검토 절차가 잘 작동했다고 적으면, 오류가 통과를 거쳤다는 관찰이 가려진다. 사후 수정값은 수정된 사실만을 뜻하며, 앞선 두 차례의 통과에 대한 판단으로 되돌려 쓰이지 않는다.
결국 자동 대조가 남긴 것은 오류의 존재를 가리키는 표시이다. 그 표시가 가리키는 자리를 정확히 적어 두는 것으로 충분하며, 확정 손해, 고의, 그리고 두 모델이 같은 판단에 이른 경위와 검토 메모가 남긴 영향의 크기는 미정으로 남는다.
다룬 공식 문서
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 미국 식품의약국(FDA), Statistical Guidance on Reporting Results from Studies Evaluating Diagnostic Tests, 2007-03-13, 4.1·6절, 인쇄면/PDF 12·18쪽