요약
초안·검토·기계 대조·독립 감사의 네 단계가 각각 무엇을 맡고 무엇을 맡지 않는지를 묻는다. 네 단계가 나누는 일과 각 단계가 남겨야 할 기록, 검토가 맡는 오류의 범위, 기계 대조가 확인하는 것, 감사가 남기는 개선 이력을 차례로 정리한다. 같은 자료가 남기는 한계를 함께 살피며, 단계 사이의 독립성은 다음 두 장에 맡긴다.
4.1네 단계가 나누는 일
거듭된 검토의 효과를 무엇으로 확인할 수 있는지를 묻던 자리에서, 이제 기록 요구를 단계별로 나누어 읽을 차례다. 초안과 검토, 기계 대조와 독립 감사가 각각 무엇을 맡는지 가르면, 합성 사례에서 편집자와 두 모델이 맡긴 일의 경계가 드러난다.
먼저 초안 단계의 몫을 정한다. NIST AI 600-1의 GV-1.6-003은 생성형 인공지능 시스템 목록 항목에 담을 정보를 이렇게 적는다. "In addition to general model, governance, and risk information, consider the following items in GAI system inventory entries: Data provenance information (e.g., source, signatures, versioning, watermarks); Known issues reported from internal bug tracking or external information sharing resources (e.g., AI incident database, AVID, CVE, NVD, or OECD AI incident monitor); Human oversight roles and responsibilities; Special rights and considerations for intellectual property, licensed works, or personal, privileged, proprietary or sensitive data; Underlying foundation models, versions of underlying models, and access modes." 이 항목은 초안이 무엇을 남겨야 하는지의 목록이지, 초안 내용 전체가 정확하다는 뜻이 아니다. 같은 NIST AI 600-1의 MS-2.11-001은 "Apply use-case appropriate benchmarks (e." 이라 하여, 학습 자료가 겹친 흔적을 가정과 한계로 적도록 한다. 두 모델이 같은 학습 자료로 배운 것으로 알려진 사실은 이 기록에 얹히며, 왜 같은 지점에서 같은 판단을 내렸는지는 미정이다.
다음으로 검토 단계가 무엇을 맡는지를 본다. NIST AI 100-1 (AI RMF 1.0)의 5.3절은 측정 과정에 기술 시험과 성능 평가가 함께 있음을 이렇게 말한다. "Processes developed or adopted in the MEASURE function should include rigorous software testing and performance assessment methodologies with associated measures of uncertainty, comparisons to performance benchmarks, and formal- ized reporting and documentation of results. Processes for independent review can improve the effectiveness of testing and can mitigate internal biases and potential conflicts of inter- est." 검토 메모가 초안 작성과 다음 검토에 어떤 영향을 주었는지 그 경로는 미정이나, 검토 자체가 시험의 효과를 높이는 절차로 자리한다는 뜻은 분명하다. 같은 NIST AI 100-1 (AI RMF 1.0)의 MEASURE 2.1은 "Test sets, metrics, and details about the tools used during TEVV are documented." 라 하여, 검토가 쓴 도구와 지표의 내력을 남기도록 한다.
기계 대조는 무엇을 확인하는 자리인가. 같은 NIST AI 100-1 (AI RMF 1.0)의 MEASURE 2.5는 "The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability be- yond the conditions under which the technology was developed are documented." 라 하여, 배포될 시스템의 타당성과 신뢰성이 입증되고 그 한계가 기록되기를 요구한다. 대조에서 원문 인용의 조항 번호가 자료의 실제 조항과 다르다는 사실이 확인된 것은 이 기록의 한 항목이며, 그 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다. NIST AI 600-1의 MS-1.1-009는 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks." 라 하여, 잰 것으로 끝나지 않은 범위까지 함께 남긴다.
마지막으로 독립 감사의 자리를 둔다. NIST AI 100-1 (AI RMF 1.0)의 MEASURE 1.3은 "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance." 라 하여, 앞줄 개발자가 아닌 사람과 독립 평가자가 정기 평가에 참여하도록 한다. 같은 NIST AI 100-1 (AI RMF 1.0)의 MEASURE 1.2는 "Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities." 라 하여, 지표와 통제의 적절성을 다시 평가한다. NIST AI 600-1의 MS-1.3-003은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 이라 하여, 같은 모델의 개발에 직접 관여하지 않은 사람의 손을 확인한다.
이렇게 나눈 네 단계의 역할은 초안이 무엇을 남기고, 검토가 무엇을 다시 보고, 기계 대조가 무엇을 잡으며, 독립 감사가 무엇을 확인하는지를 가른다. 각 단계 사이를 가르는 독립성의 조건은 여기서 확정하지 않는다. 관찰된 사실만으로 확정 손해나 고의 같은 법적 평가에 이르지도 않는다.
4.2초안이 남겨야 할 기록
네 단계가 각자 맡을 일을 나누어 놓은 뒤에는, 초안 단계가 스스로 무엇을 남겼는지 적는 자리가 남는다. 초안이 남길 기록의 범위를 무엇으로 정할 것인지를 두 자료의 기록 요구에서 가려 보기로 한다.
초안 단계에서 가장 먼저 남길 것은 지식의 한계이다. NIST AI 100-1 (AI RMF 1.0)의 MAP 2.2는 다음과 같이 요구한다. "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented. Documentation provides sufficient information to assist relevant AI actors when making decisions and taking subsequent actions." 초안을 쓰는 모델이 어느 범위까지 답할 수 있는지, 그 출력을 사람이 어떻게 쓰고 감독할지를 함께 적으라는 뜻이다.
시험 자료와 측정 도구의 내력도 같은 자리에 둔다. 같은 자료의 MEASURE 2.1은 "Test sets, metrics, and details about the tools used during TEVV are documented."라고 정한다. 초안에 무엇을 인용하고 무엇을 남겼는지를 되짚을 수 있게 하려면 쓴 자료와 잰 도구를 함께 적어 두어야 한다. 한편 측정하지 못한 것은 측정하지 못했다고 남긴다. MEASURE 1.1은 "The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라고 정한다. 초안 기록도 같은 태도를 취해, 확인하지 못한 지점을 확인하지 못했다고 밝혀야 한다.
기반 모델과 데이터의 내력도 기록에 넣는다. NIST AI 600-1의 GV-1.6-003은 항목을 다음과 같이 적시한다. "Underlying foundation models, versions of underlying models, and access modes." 같은 표에 "Data provenance information (e.g., source, signatures, versioning, watermarks)"도 함께 넣도록 한다. 같은 학습 자료로 배운 두 모델이 같은 지점에서 같은 판단을 내리는지 살피려면, 어느 모델이 어느 버전이고 어느 자료에서 배웠는지를 먼저 적어 두어야 한다.
이 기록 요구들을 초안 내용의 정확성에 대한 보장으로 바꾸어 말해서는 안 된다. MEASURE 1.2는 지표의 적절성을 "regularly assessed and updated, including reports of errors and potential impacts on affected communities."라고 요구할 뿐이다. MEASURE 2.5는 다음과 같이 정한다. "Limitations of the generalizability be- yond the conditions under which the technology was developed are documented." 기록이 남는다고 초안의 인용이 모두 맞는 것은 아니며, 남은 것은 그 인용을 되짚는 데 쓸 수 있는 자료이다.
따라서 초안이 남길 기록은 지식의 한계, 시험 자료와 도구의 내력, 측정하지 못한 범위, 기반 모델과 버전과 데이터의 내력이다. 이 기록들이 어디까지 초안의 정확성을 담보하는지, 그리고 검토가 어떤 오류를 맡는지는 이 범위 밖의 일로 남는다.
4.3검토가 맡는 오류의 범위
초안이 남길 기록의 범위가 가려진 뒤에 남는 물음은, 검토 단계가 과연 어떤 오류를 거르는지이다. 다시 말해 통과 도장의 의미를 오류의 종류에 따라 나누어 보아야 한다.
검토가 우선 맡는 것은 측정 대상이 되는 오류이다. 미국 상무부 국립표준기술연구소(NIST)의 «인공지능 위험 관리 프레임워크(AI RMF 1.0)»는 측정 단계에서 다루는 지표의 성격을 다음과 같이 밝힌다. "Measuring AI risks includes tracking metrics for trustworthy characteristics, social impact, and human-AI configurations."(NIST AI 100-1 (AI RMF 1.0), MEASURE 1.1~1.3·2.1·2.3·2.5, 5.3절) 검토가 접하는 오류는 대개 이 지표로 잡히는 범위에 머문다.
그 범위 밖은 따로 기록으로 남겨야 한다. 같은 문서는 측정에서 제외되는 위험을 다음과 같이 다룬다. "The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."(NIST AI 100-1 (AI RMF 1.0), MEASURE 1.1) 검토 통과가 곧 오류 없음의 확인이 되지 않는 까닭이 여기에 있다. 측정되지 않은 위험은 검토의 손에 닿지 않은 채 기록으로만 남는다.
검토자가 초안 작성에 관여하지 않았는지도 오류를 잡는 힘에 영향을 준다. 같은 문서 MEASURE 1.3은 평가 참여자의 자격을 다음과 같이 정한다. "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates."(NIST AI 100-1 (AI RMF 1.0), MEASURE 1.3) 이 사례에서 편집자가 상위 모델 B에게 검토를 맡긴 까닭도 이 요건에 맞추려는 의도로 읽힌다.
그러나 같은 학습 자료를 쓴 두 모델 사이의 관련은 이 요건만으로는 가려지지 않는다. «생성형 인공지능 프로파일(NIST AI 600-1)» 2절 각주 3은 같은 모델의 반복 사용이 다음 현상을 부른다고 적는다. "\"Algorithmic monocultures\" refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm."(NIST AI 600-1, 2절 각주 3) 초안과 검토가 같은 판단을 낸 까닭을 묻는 데는 이 관점이 필요하다.
또한 같은 문서 MS-1.3-003은 구조화된 인간 피드백의 수행자를 다음과 같이 가른다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."(NIST AI 600-1, MS-1.3-003) 검토 메모를 다음 검토에 넘기는 일이 독립성을 보장한다는 뜻은 이 요건에 들어 있지 않다.
끝으로 자료의 실제 조항과 다른 조항 번호가 적힌 인용은 환각의 한 갈래로 놓인다. 같은 문서 2.2절은 그 정의를 다음과 같이 내린다. "\"Confabulation\" refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts."(NIST AI 600-1, 2.2절) 조항 번호 오류가 최종 결과에 어떤 영향을 끼쳤는지는 미정으로 남는다.
이로써 검토가 맡는 오류는 측정 지표로 잡히는 범위로 한정되고, 그 밖의 위험과 두 모델 사이의 결함 상관은 검토 통과로 해소되지 않는다. 이 관찰된 사실만으로 확정 손해나 고의 같은 법적 평가가 이루어지지는 않는다.
4.4기계 대조가 확인하는 것
검토가 거르지 못하는 오류가 남는 자리를 기계 대조가 이어받는다. 그렇다면 기계 대조는 자료와 대조하여 무엇을 확인하고, 무엇까지 확인한다고 말할 수 없는가. 자동 대조에서 확인된 것은 인용문에 적힌 조항 번호가 자료의 실제 조항과 다르다는 사실 하나이며, 이 관찰이 인용 내용 전체의 정확성까지 뒷받침하는지는 별도로 가려야 한다.
먼저 대조가 다루는 대상의 범위를 분명히 해야 한다. 기계 대조는 텍스트를 자료와 견주어 어긋난 자리를 표시할 뿐, 같은 학습 자료로 배운 두 모델이 왜 같은 지점에서 같은 판단을 내렸는지에 대해서는 말하지 않는다. 두 모델 사이의 판단이 서로 닮아 있는 현상은 오히려 한쪽에 유리한 가정을 빌려 오는 경로로 작동할 수 있으므로, 미국 상무부 국립표준기술연구소(NIST)는 『Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile』(NIST AI 600-1) 2절 각주 3에서 "“Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm."이라고 적었다. 대조가 통과했다는 사실이 두 모델 사이의 상관된 판단을 분리했다는 뜻으로 이어지지는 않는 셈이다.
대조가 자료와 어긋난 자리를 잡아내는 방식은 인용의 형식을 검사하는 쪽에 가깝다. 같은 문서 2.2절은 GAI의 출력에 관한 성질을 "“Confabulation” refers to a phenomenon in which GAI systems generate and confidently present erroneous or false content in response to prompts."으로 설명하고, 이어 "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output."라고 적었다. 인용문의 조항 번호가 어긋나 있으면 그 인용이 정당함을 꾸미는 장치로 읽힐 여지가 있으며, 이 사례에서 대조가 표시한 자리는 바로 그런 지점이다. 다만 대조가 잡은 것은 번호의 불일치이며, 인용이 담은 주장의 진부나 의도는 확인된 바 없다.
그렇다면 대조 결과를 기록에 남길 때 어디까지 적어야 하는가. 미국 상무부 국립표준기술연구소(NIST)는 『Artificial Intelligence Risk Management Framework (AI RMF 1.0)』(NIST AI 100-1 (AI RMF 1.0)) MEASURE 2.1에서 "Test sets, metrics, and details about the tools used during TEVV are documented."라고 정하고, MEASURE 1.1에서 "The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented."라고 덧붙였다. 대조로 확인된 번호 불일치는 측정된 것으로 적고, 대조가 걸러내지 못한 범위는 측정되지 않은 채로 남겨 두어야 한다. 같은 자료 MEASURE 2.5는 대조 도구의 정확성도 놓인 조건 밖까지 이른다고 말하지 못하도록 근거를 남기라고 요구하며, 여기서는 일반화의 한계를 문서로 남길 것을 명한다. 대조 결과의 정확성은 도구가 놓인 조건을 벗어난 자리까지 보장된다고 말할 수 없다.
검토 메모가 대조와 다음 검토에 남기는 영향도 같은 결에서 읽어야 한다. 같은 자료의 MEASURE 1.3은 평가에 참여한 사람이 해당 시스템의 일선 개발자에 해당하지 않거나 독립 평가자여야 함을 명하며, 시스템의 일선 개발에 참여하지 않은 내부 전문가와 독립 평가자가 정기 평가와 갱신에 참여할 것을 정한다. NIST AI 600-1 MS-1.3-003은 "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model."이라고 요구한다. 상위 모델 B가 남긴 "문제없음" 메모는 통과 도장과 함께 다음 검토의 출발점을 이루지만, 그 메모가 초안 작성과 다음 검토 사이의 독립을 보장한다는 뜻은 아니다. 두 모델이 같은 학습 자료를 공유한다는 사실은 두 평가의 분리 정도와 별개로 확인된 점이다.
따라서 기계 대조가 확인하는 것은 인용문과 자료 사이의 표시 가능한 어긋남이며, 대조 통과는 인용 내용 전체의 정확성을 확정하는 결론이 아니다. 자료의 MEASURE 2.3은 "AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s)."라고 요구한다. 이 사례에서 확인된 것은 번호 불일치의 존재와 그 위치뿐이고, 두 모델의 판단이 어째서 겹쳤는지, 검토 메모가 다음 절차에 어떤 영향을 주었는지, 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 미정이다. 확정 손해나 고의 같은 법적 평가는 이 관찰만으로 아직 서지 않는다.
4.5감사가 남기는 개선 이력
기계 대조가 오류를 가려낸 뒤에는, 그 오류가 기록되고 다음 판단에 남는지가 남는다. 감사 단계가 바로 그 기록을 다루는 자리이다. NIST AI 600-1은 오류와 가까스로 피해진 사례를 함께 기록하도록 권고하면서, "Establish and maintain policies and procedures to record and track GAI system reported errors, near-misses, and negative impacts."라고 적는다. 이 권고는 오류·아차 사고·부정적 영향을 한 줄로 묶어 남기라는 뜻이며, 합성 사례에서 확인된 조항 번호 오류가 이 범위 가운데 어디에 놓일지는 미정이다.
기록을 남기는 목적은 추적에 있다. 같은 문서는 "Documenting, reporting, and sharing information about GAI incidents can help mitigate and prevent harmful outcomes by assisting relevant AI Actors in tracing impacts to their source."라고 말한다. 영향을 원인까지 거슬러 올라가게 하는 것이 기록의 쓰임이라는 뜻이다. 이 사례에서 자동 대조 절차가 잡아낸 오류가 원인으로 거슬러 올라갈 수 있는지, 또 그 오류가 초안과 최종 결과 사이에서 어떤 영향을 냈는지는 미정이다.
감사가 다루는 것은 오류 자체뿐 아니라 개선의 이력이다. NIST AI 100-1은 "MANAGE 4.2: Measurable activities for continual improvements are integrated into AI system updates and include regular engage- ment with interested parties, including relevant AI actors."라고 정한다. 개선 활동을 측정 가능하게 두고 갱신에 편입하라는 요구이며, 관계자와의 접촉을 그 활동에 넣으라는 뜻도 함께 담는다. 편집자가 상위 모델 B에게 검토를 맡기고 B가 남긴 "문제없음" 메모가 이 요구에서 말하는 개선 활동에 해당하는지는 미정이다.
한편 감사는 확인된 것과 확인되지 않은 것을 함께 남긴다. NIST AI 600-1은 "Track and document risks or opportunities related to all GAI risks that cannot be measured quantitatively, including explanations as to why some risks cannot be measured (e.g., due to technological limitations, resource constraints, or trustworthy considerations). Include unmeasured risks in marginal risks."라고 권고한다. 측정되지 않은 위험도 설명과 함께 추적하라는 뜻이다. 같은 학습 자료로 배운 두 모델이 같은 지점에서 같은 판단을 낸 이유는 미정이며, 그 이유가 측정 가능한 범위에 드는지도 미정이다.
독립적인 눈이 개선 기록의 질을 높인다는 점도 기록의 성격을 이해하는 데 도움이 된다. NIST AI 100-1은 "MEASURE 1.3: Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates."라고 적는다. 같은 회사 계열 상위 모델 B가 이 조항이 말하는 평가자에 해당하는지는 미정이다. 다만 자발적 위험관리 프레임워크가 권하는 이 기록들 자체가 법적 의무를 세우거나 손해의 크기를 산정하는 근거가 되는 것은 아니다. 관찰된 사실은 그대로 두고, 법적 평가는 미정으로 남는다.
4.6같은 자료가 남기는 한계
감사가 검사하는 범위를 구분한 뒤에도 남는 물음은, 편집자가 서로 다른 모델에게 초안과 검토를 나눈 경우 그 역할 분담이 얼마나 실제의 독립을 보장하는지이다. 합성 사례에서 검토자 B는 다른 모델 이름으로 장을 읽었으나, 두 모델은 같은 학습 자료로 배운 것으로 알려져 있다. 여기서 모델 이름의 차이가 판단의 독립을 뜻하는지부터 따져야 한다.
동일 모델·동일 알고리즘의 반복 사용이 낳는 위험을 기술 프레임워크는 먼저 규정한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3은 그 현상을 이렇게 말한다. "“Algorithmic monocultures” refers to the phenomenon in which repeated use of the same model or algorithm in consequential decision-making settings like employment and lending can result in increased susceptibility by systems to correlated failures (like unexpected shocks), due to multiple actors relying on the same algorithm." 합성 사례에서 두 모델이 같은 학습 자료를 공유한 까닭에, 서로 다른 이름의 검토가 같은 오류를 함께 놓칠 가능성은 이 개념으로 읽힌다.
같은 자료에 따른 판단일수록 검토 주체의 분리가 강화되어야 한다. 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MEASURE 1.3은 평가 참여자의 자격을 다음과 같이 정한다. "Internal experts who did not serve as front-line developers for the system and/or independent assessors are in- volved in regular assessments and updates." 검토자 B가 초안 작성에 참여하지 않았다는 사실만으로는, 두 모델이 공유한 학습 자료가 남긴 한계를 넘어서는 독립이 확보되었는지 판단할 수 없다.
검토자의 배경을 확인하는 요구는 한층 구체적이다. 같은 자료, NIST AI 600-1, MS-1.3-003은 피드백 수행자의 분리를 다음과 같이 명시한다. "Verify those conducting structured human feedback exercises are not directly involved in system development tasks for the same GAI model." 합성 사례에서 두 모델이 같은 기반에서 배웠는지, B가 어떤 개발 과정에 관여했는지는 확인되지 않았으므로, 이 기준이 충족되었는지는 미정이다.
한편 공유 자료가 낳은 오류는 인용 형식에서도 드러난다. 같은 자료, NIST AI 600-1은 생성 내용의 오류를 이렇게 기술한다. "GAI outputs may also include confabulated logic or citations that purport to justify or explain the system’s answer, which may further mislead humans into inappropriately trusting the system’s output." 자동 대조 절차가 찾아낸 조항 번호 불일치가 이러한 인용 오류의 예인지, 초안 작성과 검토 양쪽에서 같은 형태로 반복되었는지는 확인되지 않았다.
끝으로 프레임워크는 측정되지 않은 위험을 남기는 방법을 권한다. 같은 자료, NIST AI 100-1 (AI RMF 1.0), MEASURE 1.1은 다음과 같이 선언한다. "The risks or trustworthiness characteristics that will not, or cannot, be measured are properly documented." 두 모델이 왜 같은 지점에서 같은 판단을 내렸는지, 검토 메모가 다음 검토에 어떤 영향을 주었는지, 그 인용 오류가 최종 결과에 어떤 영향을 미쳤는지는 기록되지 않았다. 이 사실들만으로 확정 손해나 고의 같은 법적 평가를 세울 수 없다.
다룬 공식 문서
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 2024-07-26, 2절 각주 3, 2.2절, GV-1.6-003, MS-1.1-009·1.3-002·1.3-003·2.11-001, MG-4.2-001·4.3-002, 부록 A; 인쇄면 2·6·16·29·36·45·53쪽 (PDF 6·10·20·33·40·49·57쪽)
- 미국 상무부 국립표준기술연구소(NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1 (AI RMF 1.0)), 2023-01-26, MAP 2.2, 5.3절, MEASURE 1.1~1.3·2.1·2.3·2.5, MANAGE 4.1~4.3; 인쇄면 26·28·29·33쪽 (PDF 31·33·34·38쪽)