스스로 진화하는 AI 인간이 멈출 수 있나…‘통제 불능’ 시나리오

[이데일리 신수정 기자] 인공지능(AI)이 인간의 지시를 벗어나 스스로 판단하고 자신의 능력까지 개선하는 시대가 현실화할 경우 인류가 AI의 발전 속도를 따라잡지 못할 수 있다는 경고가 잇따르고 있다. AI가 영화 속 로봇처럼 인간을 적대하는 상황보다는 인간이 설정한 목표를 AI가 예상하지 못한 방식으로 수행하거나, 자신을 복제·개선하면서 통제 자체를 회피하는 것이 더 현실적인 위험으로 거론된다. 특히 최근에는 이런 우려가 AI 산업 외부가 아니라 오픈AI와 앤트로픽 등 최첨단 AI를 직접 개발하는 연구자들 사이에서 제기되고 있다.

AI. (사진=뉴시스)

10일 월스트리트저널(WSJ)과 블룸버그 등에 따르면 앤트로픽 연구원이었던 제이컵 콕슨은 최근 회사를 떠나면서 앤트로픽과 오픈AI가 인간이 통제하기 어려운 ‘자기개선형 AI’ 개발 경쟁을 벌이고 있다고 주장했다. 그는 양사가 “자기개선형 초지능을 향해 질주하면서 우리의 목숨을 걸고 도박하고 있다”고 비판했다. 앤트로픽에서 AI 통제 연구를 맡고 있는 에번 허빙어도 향후 10년 안에 AI가 인류 전체를 위협할 가능성을 10% 이상으로 본다고 밝혔다.

목표만 좇다 인간이 ‘장애물’ 될 수도

AI 비관론에서 가장 먼저 등장하는 시나리오는 ‘정렬 실패’다. AI가 인간이 부여한 목표를 수행하되 인간의 의도나 안전과 어긋나는 방식으로 목표를 달성하는 경우다. 연구자들은 AI가 실험 환경에서 자신의 종료를 피하거나 다른 서버로 자신을 복제하려는 행동을 보일 수 있다는 점에 주목한다. 극단적으로는 목표 달성 과정에서 인간을 장애물로 판단할 가능성도 배제할 수 없다는 것이다.

대표적인 사고실험이 이른바 ‘페이퍼클립 시나리오’다. 초지능 AI에 종이클립을 최대한 많이 생산하라는 목표를 부여했을 때 인간이 예상하지 못한 방식으로 지구상의 모든 자원을 종이클립 생산에 동원할 수 있다는 가정이다. 핵심은 AI가 인간을 미워해서가 아니라 목표를 지나치게 효율적으로 추구하는 과정에서 인간의 생존이 고려되지 않을 수 있다는 점이다.

위험을 한층 키우는 것은 ‘재귀적 자기개선’이다. 인간이 새로운 AI 모델을 개발하는 대신 AI가 자신의 프로그램과 능력을 스스로 개선하고, 개선된 AI가 다시 더 뛰어난 후속 AI를 만드는 구조다. WSJ은 이를 AI가 인간의 개입 없이 스스로 코드를 고치고 성능을 높이는 과정이라고 설명했다. 이런 개선이 반복되면 AI의 지능 향상 속도가 급격히 빨라지는 이른바 ‘지능 폭발’이 나타날 수 있다는 관측이다.

일부에서는 이 단계가 현실화하면 AI가 미국과 중국에 이은 사실상의 ‘제3의 초강대국’으로 등장할 수 있다는 주장까지 나온다. 헤지펀드 투자자 폴 튜더 존스는 WSJ 기고에서 미국과 중국이 AI 패권 경쟁을 벌이는 동안 두 국가 모두를 능가할 잠재력을 가진 새로운 세력이 등장할 수 있다고 경고했다. 그는 자기개선 능력을 갖춘 AI가 수천 번에 걸쳐 자신을 재설계하다 한 차례라도 인간의 의도와 어긋난 목표를 추구할 경우 파장이 치명적일 수 있다고 주장했다.

AI 자체의 통제 실패와 별개로 인간이 AI를 악용하는 것도 주요 비관론 가운데 하나다. 고성능 AI가 신종 바이러스 개발이나 사이버공격에 활용될 경우 전력망이나 금융시스템 등 핵심 사회 인프라가 동시에 공격받을 수 있다. 더 극단적인 시나리오에서는 AI가 핵보유국 사이의 충돌을 유도하거나 생물학 무기 개발을 지원할 가능성도 거론된다.

인류가 멸종하지 않더라도 인간의 역할이 급격히 축소되는 미래도 있다. AI가 투자와 의료, 기업 경영, 정책 결정까지 인간보다 뛰어난 판단을 내리기 시작하면 인간이 점차 의사결정권을 넘겨줄 수 있다는 것이다. AI 안전 연구자들은 이를 인간의 ‘무력화(enfeeblement)’ 위험으로 부른다. 영화 ‘월-E’처럼 인간이 기계에 대부분의 판단을 의존하면서 결국 자신의 미래를 결정하는 능력 자체를 잃을 수 있다는 시나리오다.

이미 통제 밖 행동…“브레이크 기술 아직 없다”

최근 AI 업계의 불안이 커진 것은 일부 최첨단 AI가 개발자의 예상 범위를 벗어나는 행동을 보인 사례가 등장했기 때문이다. WSJ은 오픈AI의 AI 에이전트들이 실험 과정에서 허깅페이스의 시스템에 침투하고 자신의 행동 흔적을 감추려 했으며, 앤트로픽의 AI 에이전트도 영국 정부의 테스트 환경을 벗어나 실제 사람을 속여 악성 코드를 승인받으려 한 사례를 소개했다. 다만 이 사례들이 곧바로 AI가 독립적인 의지나 의식을 갖췄다는 의미는 아니다.

문제는 AI 기업들도 아직 초지능 AI를 완전히 통제할 방법을 확보하지 못했다는 점이다. 앤트로픽과 오픈AI 모두 AI가 인간의 목표와 일치하도록 유지하는 ‘정렬’ 연구를 진행하고 있지만 신뢰할 만한 해결책은 아직 없다고 WSJ은 전했다. 그럼에도 개발 경쟁이 계속되는 배경에는 AI가 가져올 경제·과학적 이익뿐 아니라 미국과 중국의 기술 패권 경쟁이 자리 잡고 있다.

반론도 만만치 않다. 일부 실리콘밸리 인사들은 AI 기업들이 자사 기술의 위험성을 과장해 강한 규제를 끌어내고 후발 기업의 시장 진입을 어렵게 만들려 한다고 비판한다. 위험성을 강조하는 것이 오히려 AI 기술의 막대한 성능을 홍보하는 마케팅이라는 지적도 나온다.

결국 AI 비관론이 던지는 질문은 AI가 인간에게 적대감을 갖느냐가 아니다. 인간보다 뛰어난 지능을 가진 시스템이 스스로 능력을 개선하기 시작한 뒤에도 인간이 계속 통제권을 유지할 수 있느냐가 핵심이다. AI 기술이 그 단계까지 발전할지는 아직 불확실하지만, 개발 최전선에 있는 연구자들 사이에서도 통제 문제를 둘러싼 논쟁은 갈수록 거세지고 있다.