Photo by <a href="https://www.pexels.com/@googledeepmind?utm_source=instant-images&utm_medium=referral" target="_blank" rel="noopener noreferrer">Google DeepMind</a> on <a href="https://pexels.com" target="_blank" rel="noopener noreferrer">Pexels</a>
2025년 9월 15일
1. AI 불안과 두려움의 씨앗
오늘날 인공지능은 산업과 사회, 문화 전반에 걸쳐 빠르게 확산되고 있습니다. 사람들은 검색, 번역, 글쓰기와 같은 일상적 작업에서부터 기업 경영과 연구개발에 이르기까지 인공지능을 활용하며 새로운 가능성을 실험하고 있습니다. 이러한 확산은 과거의 기술혁신과 비교해도 훨씬 더 빠른 속도로 진행되고 있습니다. 마치 스마트폰이 처음 등장했을 때보다 더 짧은 기간 안에, 더 많은 영역으로 파고들고 있는 것입니다.
그러나 기술의 확산과 더불어 우려의 목소리도 커지고 있습니다. 인간은 새로운 도구가 등장할 때마다 그것이 가져올 이익과 동시에 잠재적 위험을 평가하려는 경향이 있습니다. 심리학적으로 이는 ‘위험 인식 편향(risk perception bias)’과 관련이 있습니다. 사람들은 자신의 안전이 위협받을 가능성이 있다고 느낄 때, 그 위협이 실제로 발생할 확률보다 더 크게 받아들이는 경향이 있습니다. 특히 생존과 직결된 문제일수록 이러한 심리적 반응은 강화됩니다. 인공지능이 인간의 통제를 벗어날 수 있다는 상상은 사람들에게 단순한 기술적 불안이 아니라 존재적 공포로 다가오는 것입니다.
이런 맥락에서 인공지능을 둘러싼 논쟁은 점점 더 격렬해지고 있습니다. 일부는 인공지능을 적절히 관리하고 활용한다면 인류의 번영에 크게 기여할 것이라고 주장합니다. 반면 다른 일부는 지금의 기술이 위험을 충분히 통제할 수 있는 수준에 도달하지 못했다고 지적하며, 더 근본적인 대책을 요구합니다. 이 중에서도 가장 극단적이고 단호한 입장을 보이는 인물이 엘리에저 유드코프스키입니다. 그는 “누구든 초지능을 만들면 모두가 죽는다”라는 전제를 바탕으로, 인공지능 개발을 전면적으로 금지해야 한다고 주장합니다(1). 단순한 안전 연구나 윤리적 가이드라인으로는 문제를 막을 수 없으며, 유일한 해법은 법적 강제력을 갖춘 국제적 셧다운 조약이라는 것입니다.
2. 급진적 셧다운 주장
인공지능에 대한 논쟁 속에서 가장 강경한 입장은 엘리에저 유드코프스키의 주장에서 확인할 수 있습니다. 그는 “누구든 초지능을 만들면 모두가 죽는다”라는 단호한 전제를 세우고 있습니다(1). 인간은 불확실한 상황에서 심리적으로 과도한 두려움을 느끼는 경향이 있는데, 특히 통제가 불가능한 위험 앞에서는 ‘재앙 편향(catastrophic bias)’이 강하게 작동합니다. 유드코프스키의 주장은 바로 이러한 인간 심리의 극한 반응을 반영하면서도, 단순한 불안이 아니라 실질적인 위협으로 간주해야 한다는 논리 위에 서 있습니다.
그는 안전 연구, 레드팀, 윤리적 검토와 같은 노력은 모두 무의미하다고 단언합니다. 마치 심리학에서 ‘위약 효과(placebo effect)’가 실제 질병의 근본 원인을 해결하지 못하듯이, 이런 접근들은 사람들에게 일시적인 안도감을 줄 뿐, 실제 위험을 제거하는 데에는 도움이 되지 않는다고 본 것입니다. 따라서 그가 제안하는 유일한 해법은 강제력을 가진 국제 조약을 통해 모든 인공지능 개발을 셧다운하는 것입니다. 시간적 예측이나 확률적 위험 평가 역시 거부합니다. 위험이 먼 미래에 나타날 수 있다는 추정 자체가 무책임하다고 여기며, 잠재적 가능성이 존재한다면 지금 당장 중단해야 한다는 입장입니다.
이와 유사한 주장들도 존재합니다. 국제적인 시민 단체 PauseAI는 GPT-4보다 강력한 모델의 개발을 전면 중단할 것을 요구하고 있습니다(2). 미래생명연구소(Future of Life Institute)가 발표한 오픈 레터는 최소 6개월간 대규모 인공지능 실험을 중단하자고 제안했습니다(3). 국제 협력 차원에서도 MAGIC 제안은 초지능 개발을 특정 국제 컨소시엄에 한정하고, 비회원국의 개발을 금지해야 한다는 내용을 담고 있습니다(4). 또한 Miotti와 Wasil은 글로벌 차원에서 컴퓨팅 자원에 상한선을 두고, 필요할 경우 비상시 셧다운 권한을 제도화해야 한다고 주장했습니다(5).
이들의 공통된 기조는 명확합니다. 안전이 보장되지 않는다면 개발 자체를 중단해야 한다는 것입니다. 이는 인간 심리학에서 흔히 나타나는 ‘제로 리스크 환상(zero-risk illusion)’과도 관련이 있습니다. 사람들은 위험을 줄이는 것보다 위험을 완전히 제거하는 방향을 선호하는 경향이 있으며, AI에 대한 셧다운 주장은 이러한 심리적 욕구가 사회적, 정책적 차원으로 표출된 결과라고 볼 수 있습니다.
3. 완화·조정 주장
급진적인 셧다운 주장과 달리, 또 다른 흐름은 위험을 인정하면서도 통제와 조정을 통해 인공지능을 관리하자는 입장입니다. 이는 인간이 불확실한 위험 앞에서 전부를 거부하기보다는, 위험과 이익을 동시에 고려하며 균형을 추구하려는 심리적 경향과도 맞닿아 있습니다. 심리학에서 흔히 말하는 ‘위험-보상 균형(risk-reward balance)’ 개념은 사람들이 위험을 완전히 피하기보다는 일정한 통제 장치 속에서 수용하려는 태도를 설명합니다.
첫 번째 흐름은 존재적 위험 가능성을 분명히 인정하되, 규제와 제도적 장치를 강화하는 방향입니다. RAND 보고서와 브루킹스 연구는 인공지능이 인류의 존속에 잠재적 위협이 될 수 있다는 가능성을 심각하게 평가했습니다(6)(7). 그러나 이들은 즉각적인 셧다운 대신, 제도적·윤리적 틀을 마련하여 위험을 관리해야 한다고 강조했습니다. 이는 인간이 불안을 느낄 때, 완전한 회피보다는 제도적 보장을 통해 심리적 안전감을 찾으려는 성향과 유사합니다.
두 번째 흐름은 위험의 성격이 단일하지 않다는 점에 주목합니다. 센터 포 AI 세이프티는 악용 가능성, 국가 간 경쟁 구도, 조직 차원의 관리 실패, 그리고 점진적 권력 약화 등 다양한 위험 시나리오를 제시했습니다(8). 특히 Gradual Disempowerment 연구는 초지능이 갑작스럽게 출현하여 재앙을 초래한다는 ‘폭발적 시나리오’보다, 인간의 영향력이 조금씩 약화되면서 회복 불가능한 상황에 이르는 점진적 경로를 더 주목했습니다(9). 이는 인간의 통제력이 서서히 무너질 때 오히려 더 위험하다는 경각심을 일깨웁니다.
완화·조정 주장을 하는 그룹들은 공통적으로 인공지능의 위험성을 결코 가볍게 보지 않습니다. 다만 위험을 다루는 방식에서 전면 셧다운 대신, 국제 협력과 제도 강화, 그리고 지속적이고 다차원적인 평가를 통해 위험을 관리하는 방향을 제시하고 있습니다. 이는 인간이 위협을 전면적으로 배제하기보다, 관리 가능한 틀 속에서 통제감을 유지하려는 심리적 경향을 반영한다고 볼 수 있습니다.
4. 공통된 문제의식
급진적 셧다운 주장과 완화·조정 주장은 표현의 수위와 접근 방식에서 차이가 있지만, 이들이 공유하는 문제의식은 분명합니다. 첫째, 인공지능은 분명히 인류에게 실질적이고 잠재적인 위험을 안겨줄 수 있다는 점입니다. 기술이 고도화될수록 통제 불가능한 결과가 발생할 수 있다는 경고는 단순한 공포를 넘어 사회 전체의 생존과 직결되는 문제로 인식되고 있습니다. 인간은 새로운 기술 앞에서 ‘통제 상실 불안(control loss anxiety)’을 자주 경험하는데, 이는 자신이 상황을 관리할 수 없다고 느낄 때 발생하는 심리적 반응입니다.
둘째, 무제한적인 개발 경쟁이 위험을 가속화할 수 있다는 점에서 의견이 일치합니다. 기업이나 국가가 앞다투어 더 강력한 AI를 만들어내려는 상황은 심리학에서 말하는 ‘경쟁적 비교심리(social comparison)’와 유사합니다. 사람은 남보다 뒤처지지 않으려는 욕구 때문에 때로는 위험을 무시하고 무리한 선택을 하곤 합니다. 마찬가지로 국가나 기업 역시 경쟁 압력 속에서 안전을 소홀히 할 가능성이 있습니다.
셋째, 국제적 협력과 제도적 통제의 필요성에 대한 공감대가 존재합니다. 위험의 정도와 대응 방식은 달라도, 인공지능 문제를 개별 국가나 단일 기업이 독자적으로 해결하기 어렵다는 점에서는 의견이 모아집니다. 심리학에서 ‘집단적 행동의 딜레마(collective action dilemma)’라고 부르는 현상은, 개인이 이익을 추구하다 보면 집단 전체가 손해를 보는 상황을 설명합니다. 인공지능도 이와 유사한 구조를 가지고 있으며, 따라서 국제적 협력이 없다면 위험은 결코 제대로 관리되지 못할 것이라는 우려가 공유되고 있습니다.
결국 급진적 셧다운 주장과 완화·조정 주장은 다른 길을 가는 듯 보이지만, 공통적으로 인공지능이 안전장치 없는 상태에서 무한정 확산되는 것은 심각한 위험이라는 인식에 동의하고 있습니다. 표현은 다르지만 모두가 AI의 통제와 안전 확보를 최우선 과제로 삼아야 한다는 점을 지적하고 있는 것입니다.
5. 결론
지금까지 살펴본 논쟁은 인공지능을 둘러싼 우려와 대책이 얼마나 다양하게 전개되고 있는지를 보여줍니다. 일부는 초지능이 등장하는 순간 인류가 멸망할 것이라고 단언하며 즉각적인 셧다운을 요구합니다(1). 또 다른 일부는 위험을 분명히 인정하면서도 제도와 규제를 강화하는 방식으로 통제 가능성을 모색합니다(6)(7). 입장의 차이는 크지만, 그들이 공통적으로 강조하는 바는 인공지능이 무방비 상태로 확산되어서는 안 된다는 점입니다.
이러한 흐름은 인간심리학에서 말하는 ‘불확실성 회피(uncertainty avoidance)’와 관련이 있습니다. 사람은 예측할 수 없는 상황에 직면했을 때, 무조건적인 거부나 통제 강화라는 두 가지 상반된 태도로 반응하기 쉽습니다. 급진적 셧다운 주장은 불확실성을 완전히 제거하려는 심리적 욕구를 반영하고, 완화적 규제 주장은 제도적 장치를 통해 불안을 관리하려는 심리적 경향을 보여줍니다. 어느 쪽이든 인간은 본능적으로 위험을 통제 가능한 범위 안에 두려는 공통된 심리를 가지고 있습니다.
따라서 인공지능의 미래는 단순히 활용을 확대할 것인가, 아니면 셧다운할 것인가의 양자택일 문제로만 볼 수 없습니다. 오히려 인공지능이 제공하는 이익과 동시에 발생할 수 있는 위험을 균형 있게 고려해야 합니다. 이를 위해서는 국제적 협력과 제도적 안전망이 반드시 마련되어야 하며, 위험 신호가 나타날 때 즉각적으로 대응할 수 있는 유연한 통제 장치도 필요합니다. 궁극적으로 인공지능의 활용과 통제는 서로 대립하는 개념이 아니라, 함께 병행되어야 할 과제입니다. 우리는 인공지능을 발전시키면서도 인간의 존속과 안전을 지키는 길을 선택해야 하며, 그 과정에서 적절한 통제와 안전 장치 마련이 최우선 과제가 되어야 할 것입니다.
참고문헌
(1) Yudkowsky, E., & Soares, N. (2023). If anyone builds it, everyone dies. Berkeley, CA: Machine Intelligence Research Institute.
(2) PauseAI. (2023). PauseAI campaign: Stop training beyond GPT-4. Retrieved from https://pauseai.info
(3) Future of Life Institute. (2023). Pause giant AI experiments: An open letter. Retrieved from https://futureoflife.org/open-letter/pause-giant-ai-experiments
(4) Brundage, M., et al. (2023). Multinational AGI Consortium (MAGIC): A proposal for international coordination on AI. arXiv preprint arXiv:2310.09217. https://arxiv.org/abs/2310.09217
(5) Miotti, M., & Wasil, J. (2023). Taking control: Policies to address extinction risks from advanced AI. arXiv preprint arXiv:2310.20563. https://arxiv.org/abs/2310.20563
(6) RAND Corporation. (2023). On the extinction risk from artificial intelligence. Santa Monica, CA: RAND Corporation.
(7) MacCarthy, M. (2025). Are AI existential risks real — and what should we do about them? Brookings Institution. Retrieved from https://www.brookings.edu/articles/are-ai-existential-risks-real-and-what-should-we-do-about-them/
(8) Centre for AI Safety. (2023). AI risks that could lead to catastrophe. Retrieved from https://safe.ai/ai-risk
(9) Kulveit, J., Douglas, D., & Ammann, M. (2025). Gradual disempowerment: Systemic existential risks from incremental AI development. arXiv preprint arXiv:2501.16946. https://arxiv.org/abs/2501.16946
About the Author
