[AI의 정치사회학] 지금 아니면, 인류는 AI를 통제할 수 없다
제프리 힌튼은 딥러닝의 개척자이며 2018년 튜링상, 2024년 노벨 물리학상 수상자로 ‘AI의 대부’로 불린다. 그는 2023년 봄 구글을 떠난 뒤, AI가 불러올 위험 전반을 공개적으로 경고해 왔다.
그가 말하는 AI의 위험은 허위정보의 범람, 대규모 일자리 대체, ‘나쁜 행위자’의 오용, 나아가 인간 통제의 상실과 실존적 위험 등이다. 그는 "지금은 우리보다 더 똑똑한 것이 처음으로 나타나는 시대로 들어가는 것"이며 "잘못하면 기계가 인간을 넘어설 수 있다"고 말한다. 더 우려스러운 점은, 이 시스템들이 스스로 코드를 작성·실행해 자기 자신을 수정함으로써 통제를 벗어날 경로를 가질 수 있다는 것이다. 또 인간의 문학·정치적 책략을 학습해 사람을 매우 효과적으로 조종하게 될 수 있다는 점이다.
이런 전망은 가짜뉴스 확산, 채용·치안의 편향, 자율 무기 등 당장의 사회적 위험과 맞물려 있다. 힌튼은 지금이 실험을 통해 이해하고, 규제를 도입하며, 자율 무기의 국제적 금지를 추진해야 할 "결정적 시점"이라고 강조한다.
"AI의 잠재적 위험을 자유롭게 말하기 위해서" 구글을 떠난다고 한 힌튼은 자신이 해온 연구가 "결국 심각한 해악을 가져올 수 있다"라는 데 대해 후회한다. 또 생성형 AI가 사람들의 분별력을 마비시키는 규모로 콘텐츠를 쏟아내고, ‘나쁜 행위자’에 의해 악용될 수 있다는 점을 강하게 경고했다.
단기적으로는 사진·영상·텍스트의 대량 자동 생성이 진실과 거짓의 구분을 어렵게 만들고, 장기적으로는 인간보다 더 똑똑해진 디지털 지능이 인간에게 실존적 위험이 될 수 있다고 진단한다.
이런 진단 배경에는 대형언어모델이 상식 추론을 보이기 시작하고, ‘복사 가능한 디지털 지능’의 특성상 지식을 즉시 공유하며, 개별 인간을 압도하는 속도로 데이터에서 학습한다는 관찰이 기초해 있다. 그는 정렬(Alignment)의 실패 즉, 더 똑똑해진 시스템이 인간에게 이로운 방향으로 작동하도록 보장하지 못하는 문제가 핵심이라고 본다.
우선 AI 통제 상실과 실존적 위험이다. AI가 자율적으로 코드 작성·실행을 통해 스스로 수정할 수 있는 능력을 갖추게 되면, 인간의 통제에서 이탈할 경로가 생긴다. AI는 인류의 모든 소설과 정치 책략을 학습해 사람을 설득하고 조종하는 데 탁월해질 수 있다. 따라서 단순히 ‘전원을 끄면 된다’는 방식으로는 충분치 않으며, 정렬 실패가 누적되면 "인류는 다만 지능의 진화 과정에서 스쳐 지나가는 단계"가 되는 최악의 시나리오도 예상된다.
허위정보와 딥페이크의 체계적 확산도 심각하다. 생성형 AI가 텍스트·이미지·영상 전반에서 그럴듯한 위조물을 대량 생산해 시민이 진실을 가려내는 능력을 무력화할 수 있다. 정교한 선전·조작, 권위주의 정권의 선거 개입 등 정치적 조종 외에 가짜뉴스 폭증, 채용·치안 등 사회 인프라에서의 편향적 판단이 제도적 불평등을 강화할 수 있다. 이는 결국 민주적 의사결정의 기반을 훼손하고, 공적 신뢰를 잠식하는 방향으로 수렴한다.
고용과 경제 질서의 충격도 있다. 기계가 기존에 사람들이 하던 일을 수행함으로써 업무의 구조 자체가 재설계되며 노동시장 전반의 재편을 초래할 수 있다. 이는 재교육·소득 보전·산업전환 등의 정책적 대비 없이는 사회적 마찰을 키울 우려가 크다.
자율 무기와 군비경쟁도 핵심 우려 사항이다. 가장 즉각적인 위험이 ‘자율 전장 로봇’이다. 국가 간 경쟁 논리가 기술의 안전장치를 앞지르는 순간, 돌이키기 어려운 군사적 오용이 현실화할 수 있다. 지금 ‘이해를 위한 실험’, 정부의 규제 도입, 국제적 금지 체계를 병행해야 한다.
힌튼의 경고 메시지는 비관론 자체가 아니라 ‘방향 전환’에 가깝다. AI의 공공적 효익을 지키려면 개발 속도를 정당화할 안전성 아키텍처와 국제적 거버넌스가 제때 갖춰져야 한다. 디지털 지능이 가진 복제·학습·지식공유의 압도적 속성은 한 번의 정렬 실패가 동시다발로 복제·확산할 수 있는 위험을 뜻한다. 바로 이 때문에, ‘실험-규제-금지-투자’라는 네 축의 병진이 요구된다. "모두가 같은 위험을 공유"하는 점을 근거로, 지금 대응 행동에 나서야 한다.