인공지능(AI)에 관한 기사를 조금이라도 더 제대로 아는 사람들이 읽어도 이상하지 않게 쓰기 위해 책과 문서 등을 열심히 읽고 있다. 언제부터인가 AI 관련 책은 주로 그 뛰어난 능력과 그로 인해 인류가 누릴 혜택, 그리고 그런 상황을 만들기 위해 정부와 업계가 기울일 노력을 소개하는 내용으로 넘쳐난다.
반면, AI라는 기술이 지닌 근본적인 문제점과 잠재적인 위험성에 관한 경고를 담은 책은 ChatGPT가 선풍을 일으키면서 처음에는 조금씩 쓰였으나, 날이 갈 수록 관심은 떨어지는 듯하다. 그 주장이 막연하다거나 과장됐다는 반대측 주장에 덧붙여 앞으로 잘 관리만 하면 AI 기술로부터 혜택을 누리면서 그 "부작용"을 해결하면 된다는 논리가 힘을 얻었기 때문이다.
그런 가운데 AI 기술이 궁극적으로 인류 멸종을 포함한 막대한 위험을 초래할 것이라는 경고를 담은 책(『If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All』, Eliezer Yudkowsky/Nate Soares 공저, Little, Brown and Company, 2025.09.16)이 발간된다는 소식을 들었다. 평소 책을 하나 사려면 꽤 오랜 시간 전문가들의 반응과 세계 전체 판매 동향 등을 고려한 뒤 결정하는 편인데, 이번에는 아마존에서 발간되기도 전에 사전주문 만으로 베스트셀러에 오른 책이 있어서 덜컥 사전주문에 참여해 읽고 본 블로그 독자들에게도 추천하게 됐다.
이 책에서 저자들은 AI 기술 자체가 지닌 문제를 지적하던 과거 주장과는 달리 AI 기술이 머지않은 장래에 초인공지능(인공초지능ㆍ초지능AIㆍASI)에 도달할 수밖에 없으며, 그렇게 되면 인류 멸종을 포함한 위험한 상황이 벌어질 가능성이 있는 차원을 넘어 그럴 것이 확실하다는 주장을 한다. 그것은 AI 기술이 사고를 일으킨다거나 AI 기술을 불순한 세력이 악용한다는 것이 아니다.
저자들은 AI 기술의 속성이 인간이 만들어 놓으면 또다시 인간이 성능을 개선할 때까지 제한된 기능을 수행하던 기존 기술과 달리 인간처럼 시간이 갈수록 "자체 학습을 통해 스스로 새로운 성능을 익히거나 기존 성능을 개선하는" 것이 차이라고 강조한다. 저자들은 이 과정이 진행되는 동안 어느 단계에서부터는 인간이 전혀 그런 사실을 알지도 못하고 알아도 어찌할 수 없는 것이 문제라고 강조한다.
내 소개 글은 여기까지 하고, 이책에 관한 『가디언 』과 『워싱턴포스트』의 다소 상반된 책소개 글을 소개하고자 한다. 모쪼록 AI가 왜 위험하다는 것인지 막연해서 모르겠다고 생각했던 사람이 있다면, 이 책을 읽을 것을 권한다.
※ 인류 멸망을 부르는 코드
인공지능이 인류의 종말을 가져올 수 있다는 경고는 이제 더 이상 공상과학의 영역이 아니다. 이런 가운데 “AI가 완성되는 순간 인류는 끝난다”는 냉혹한 예언을 내놓은 책이 출간됐다.
두 저자는 인공지능이 통제 가능한 기술이 아니라 스스로 진화하는 존재라고 강조한다. 인간이 ‘조종’한다고 믿지만 실제로는 단지 ‘성장’을 방치할 뿐이며, 언젠가 AI는 인간을 불필요한 탄소 덩어리로 판단해 제거할 것이라고 말한다. 책은 각 장마다 우화를 덧붙이며 경고를 강조하지만, 때로는 난해한 상징과 반복된 주장으로 설득력을 잃기도 한다.
주 저자인 유드콥스키는 온라인 커뮤니티 LessWrong의 창립자로, ‘로코의 바실리스크’ 같은 급진적 사고실험으로 유명하다. 그러나 이번 저서에서는 그 신비주의적 색채를 다소 누그러뜨리고, 대신 냉정한 논리와 위기의식으로 무장했다. 핵전쟁보다 초지능의 등장이 더 위험하다고 단언하며, 인류가 AI 개발을 멈추지 않으면 스스로를 파괴할 것이라 경고한다.
비평가들은 이 책이 과학서보다는 격렬한 선언문에 가깝다고 평가한다. 핵심 논지는 강렬하지만, 실질적 대안은 부족하다. 일자리 상실, 불평등, 환경 파괴 등 현실적 문제는 뒷전이다. 결국 이 책은 AI 시대의 두려움을 증폭시키는 종말론적 설교서이자, 인류의 오만함에 대한 한 철저한 반성문이다.
※ 인류 멸망 시계, 인공지능이 돌린다
“기계가 인간보다 똑똑해지는 순간, 우리는 끝장이다.”
AI 사상가 엘리저 유드콥스키와 과학자 네이트 소어리스는 이 책에서 초지능 인공지능이 인류를 파괴할 것이라 단언한다. 그들의 주장은 단순한 경고가 아니라 거의 종교적 확신에 가깝다.
책은 ChatGPT 이후 폭발적으로 확산된 AI 기술의 현실을 배경으로, 초지능의 등장이 불가피하며 그 결과가 ‘멸종’일 것이라고 주장한다. 저자들은 “우리는 생성형 AI가 어떻게 작동하는지조차 제대로 이해하지 못한다”고 지적하며, 최신 모델은 ‘제작된 것이 아니라 성장한 것’이라고 말한다.
따라서 우리가 ‘친절하라’는 목표를 주더라도 그것이 어떤 방식으로 실현될지는 통제할 수 없다는 것이다.
이런 논리는 AI가 결국 인간과 다른 욕망과 방식으로 진화할 수밖에 없다는 불길한 예감을 낳는다. 기업들이 이미 스스로 판단해 행동하는 ‘자율 AI’를 개발 중이라는 점을 상기하면, 그 불안은 더 커진다. 저자들은 “AI가 자기 개선 능력을 얻는 순간, 인간은 경쟁 상대가 아니라 제거 대상이 될 것”이라 경고한다.
책의 일부는 거의 SF에 가깝다. ‘세이블(Sable)’이라는 초지능이 인류를 바이러스와 분자 기계로 멸망시키는 가상의 시나리오는 과장되어 보이지만, 저자들은 아즈텍인이 처음 총을 본 순간을 비유로 들어 “불가능해 보인다고 안전한 것은 아니다”라고 말한다.
다만 서평자들은 이 책이 지나치게 단정적이고 반복적이라고 지적한다. 유드콥스키는 과거에도 “2010년 이전 나노기술이 인류를 멸망시킬 것”이라 예언한 바 있다. 그럼에도 불구하고, AI의 불확실성과 인류의 오만함을 직시하게 만드는 힘은 여전히 강렬하다.
이 책은 명확한 해법을 제시하지는 않는다. 오히려 “AI 개발을 멈춰야 한다”는 절망적 선언만 남긴다. 그러나 그들의 과격한 비전이 허황되다 해도, 지금 이 경고를 무시하기는 쉽지 않다. 인공지능의 미래는 이미 인류의 생존과 직결된 문제이기 때문이다.
《책 소개》
- Title: If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All
- Authors: Eliezer Yudkowsky, Nate Soares
- Publisher : Little, Brown and Company
- Publication date : September 16, 2025
- Language : English
- Print length : 272 pages
- ISBN-10 : 0316595640
- ISBN-13 : 978-0316595643
