인공지능 기술이 전례 없는 속도로 발전하면서 인류는 역사적 전환점에 서 있다. 인간의 일반적인 인지능력을 넘어서는 일반인공지능(Artificial General Intelligence:AGI)과 초지능(Artificial Superintelligence: ASI)의 등장 가능성이 현실화되고 있다. 이에 과학계와 기술계, 정치권은 물론 일반 대중까지도 깊은 우려에 빠졌다.

지난 10월 22일, 2023년·2024년에 이어 발표된 AGI/ASI 개발 중단 요구에 3000여 명이 연명한 공동성명을 냈다. 공동성명에는 오슈아 벤지오 몬트리올대 교수를 비롯해 작년 노벨물리학상 수상자인 제프리 힌턴 토론토대 석좌교수, 스티브 워즈니악 애플 공동창업자 등 AI ‘대부’로 불리는 과학자들이 다수 이름을 올렸다.

이들은 "초지능은 인간의 경제적 역할과 자유·존엄·통제권을 잃게 할 뿐 아니라 국가 안보와 인류 생존 자체를 위협할 수 있다"며 "안전하게 설계·통제할 수 있다는 과학적 합의와 사회적 지지가 형성되기 전까지 개발을 금지해야 한다"고 주장했다. 이번 성명은 기술계뿐 아니라 정치·종교·언론계 등 폭넓은 연대 속에 발표, 인류 미래에 대한 근본적인 질문을 던지는 역사적 성명서로 평가된다.

이들이 제기하는 가장 심각한 우려는 AGI, 그리고 그 이후의 ASI가 실존적 위협을 초래할 수 있다는 점이다. 그 위협은 "우리보다 수가 많고, 더 똑똑하고, 인간을 쓸모없게 만들고, 우리를 대체할 수 있다"는 데 있다. 격리되지 않은 AGI는 자원을 확보하고, 활동을 은폐하고, 스스로를 방어할 만큼 지능적이며, 인간의 감독이나 내부 점검 없이도 힘을 축적할 수 있다.

이같은 첨단 시스템은 ‘블랙 박스’이기 때문에 개발자조차도 시스템의 동작을 확실하게 예측하거나 제어할 수 없다. AI 개척자들도 AI로 인한 인간 멸종 위험이 10%~50%라고 추정한다.

AGI 확산은 범죄자·테러리스트·불량 국가 등을 주요 세계 강대국과 동등한 위치에 놓게 할 수 있다. 이는 엄청난 보안 위협으로, 적에게 핵 기술·바이러스학·컴퓨터 보안 분야 최고 전문가를 제공하는 것과 같다. 첨단 AI는 화학·생물·방사선 또는 핵(CBRN) 공격과 정교한 사이버 공격을 통한 대량 살상에 사용될 수 있다.

일반 대중이 피부로 느낄 것은 AGI와 ASI가 창의적이고 인지적인 역할을 수행하는 것을 포함, 수많은 일자리를 자동화해 대량 실업을 초래할 것이라는 점이다. 부(富)가 기술 소유자 손에 집중되어 경제적 불평등도 심화시킬 것으로 예상된다.

민주주의에도 심각한 위협을 가할 수 있다. 인간보다 훨씬 효과적이고 고도로 개인화된 설득 캠페인을 설계해 여론을 조작하고 선거를 불안정하게 만드는 데 사용될 수 있다. 이러한 능력은 초현실적인 딥페이크와 결합해 권위주의 정권에 힘을 실어주고 법치주의를 약화시킬 수 있다.

반면, 심각한 경고에도 불구하고 상당수 전문가와 사상가들은 AGI 개발 중단은 비현실적이며 역효과를 낳는다고 주장한다. 가장 강력한 반론은 지정학적 현실에 뿌리를 두고 있다. 서구에서 AI 사용을 금지하거나 중단하면, 이미 AI 강국인 중국 같은 국가들은 자체 프로그램을 가속해 초지능에 대한 독점권을 확보할 가능성이 높다는 것이다.

이들은 악의적이거나 불량한 ASI에 대한 유일한 효과적인 보호 장치는 선의적이거나 협력적인 ASI라고 주장한다. ‘좋은’ ASI는 위협을 모니터링하고, 불량 AI를 무력화하며, 국제 안전 기준을 강화하는 데 도움이 될 수 있다는 것이다. 이런 관점은 두려움에 휩싸인 후퇴보다는 안전에 중점을 둔 가속화된 개발을 옹호한다. AI 분야를 안전·투명성, 그리고 공공 책임성을 지향하는 방향으로 재편해야 한다고 요구한다.

궁극적으로 이 논쟁은 비관론자와 낙관론자 사이 단순한 이분법이 아니라 ‘초지능 이후 미래’로의 전환을 헤쳐나가야 하는 인류 전체의 공통된 과제로 부상하고 있다. 3000여 연명 선언은 우리에게 묻고 있다. "우리는 기술의 주인으로 남을 것인가, 노예가 될 것인가?" 이 질문에 대한 답은 우리가 취하는 선택에 달려 있다.