Summary
미래 시나리오는 사건 발생 빈도의 예측이 아니라 어떤 전제가 달라질 때 어떤 제도 설계를 유지하거나 버려야 하는지 가리는 분기 조건으로 쓰인다. 여섯 가지 무력화 경로와 행위 유형을 구별해 시나리오마다 실패 조건을 함께 명시해야 하며, 전제와 실패 조건 없이 결론만 제시하는 배치는 판단 근거에서 제외한다.
9.1제도 선택의 분기 조건으로서의 시나리오
미래 시나리오를 쓰는 목적은 다가올 사건의 날짜를 맞히는 것이 아니다. 어떤 조건이 달라지면 어떤 제도 설계가 더는 유지되지 않는지 미리 적어 두는 일이다. 중심 명제는 시나리오를 빈도의 예측이 아니라, 전제의 변경에 따라 결론이 어떻게 갈리는지 보여 주는 분기 조건으로 쓰는 것이다. 그러면 제도 선택의 근거를 희망이나 공포가 아니라 명시된 가정에 둘 수 있다. 이 물음이 해결되지 않으면 설계의 성패는 확인할 수 없는 전망에 걸리고, 전망이 틀렸을 때 무엇을 고쳐야 하는지 알 수 없게 된다. 합성 상황을 실제 사건이나 실험 결과로 표시하지 않는 것이 이 편의 전제다.
9.2여섯 가지 무력화 경로와 원인 구별
이 권이 검토하는 무력화의 제도적 경로는 여섯이다. 기록의 생성·선별·해석이 같은 체계에 의존하면 사실에 관한 독립된 반박이 약해지고, 주장 생성 속도와 심리 자원의 격차는 실질적 청문을 줄이며, 추천의 높은 성능과 인간의 과도한 의존은 권한을 부여하고 회수하는 판단을 흐린다. 공급자가 자료·도구·업데이트를 지배하면 독립된 심리가 흔들리고, 비가역적 행위와 빠른 자원 이동은 집행과 회복을 무력화하며, 모델과 판결의 반복 학습은 공개된 법의 변경과 오류 수정을 우회한다. 이 목록은 현재 사법 전체에서 확인된 사건이 아니라, 조건을 밝혀 검토할 경로다. 악의적 행위자의 악용, 자율 시스템의 통제 실패, 편리한 도구에 대한 평범한 제도적 의존을 구별하는 것도 같은 이유다. 세 경로는 다른 근거와 다른 대응을 요구한다.
9.3반론: 합성 시나리오의 한계와 적용 제한
가장 강한 반론은 합성 시나리오에 부여할 무게에 관한 것이다. 실제 사건 없이 구성한 상황으로는 현실의 제도 선택을 정할 수 없고, 시나리오는 늘 작성자의 공포나 희망을 반영한다는 것이다. 이 반론을 받아들여 이 편은 시나리오의 외부 적용 범위를 제한한다. 전제를 바꿨을 때 결론을 유지할 수 있는지만 비교하며, 시간·금액·능력의 수치를 추가하지 않는다. 논리적 가능성을 현실의 발생 빈도나 실증적 실패율로 바꾸지 않는다. 「International AI Safety Report 2026」과 METR의 자료는 발전을 관측할 출발점으로만 놓고, 기술 과업의 추세를 법정에서의 정확성이나 ASI의 도래일로 읽지 않는다. ASI 출현 시점에 대한 단일 예측은 이 권에서 하지 않는다.
9.4실패 조건의 명시와 채택 불가 배치
답은 시나리오마다 실패 조건을 함께 적는 것이다. 어떤 전제가 무너지면 그 분기에서 선택한 제도를 유지할 수 없는지, 반대로 어떤 조건이 갖추어지면 축소 없이 검토를 이어갈 수 있는지 대조한다. 같은 원천의 설명을 독립 증거로 집계하는 배치, 자동 분류로 본안의 기회를 잃고도 다툴 수 없는 배치, 인간의 승인 표시만 남고 변경 능력은 없는 배치는 어느 분기에서도 채택하지 않는다. 시나리오의 분기가 실제 사건의 기록과 충돌할 때에는 구성한 사례를 고수하는 대신 분기를 고치고, 실패 조건이 비어 있으면 그 시나리오는 판단의 근거로 쓰지 않는다. 분기 조건을 적지 않은 채 결론만 제시하는 순간, 시나리오는 예언으로 돌아간다.