AI 안전론은 ‘성적 컬트’인가

AI 안전 논의의 중심에 종말론적 신념과 사적 이해관계가 자리 잡고 있다는 주장이 나왔다. 스카이라이터(Skywriter)에 글을 올린 SE 기게스(SE Gyges)는 엘리저 유드코프스키(Eliezer Yudkowsky)와 그 주변의 합리주의 커뮤니티가 AI 위험을 설명하는 언어뿐 아니라 정책 논의에도 큰 영향을 미쳤다고 비판한다. 특히 성생활과 공동체 운영을 문제 삼아 ‘성적 컬트’라는 표현을 썼다. 해커뉴스(Hacker News)에서는 이 표현이 권력과 이해충돌을 드러내는지, 정작 검토해야 할 AI 위험 논증을 가리는지를 놓고 의견이 갈렸다.

핵심 요약

  • 필자는 AI 안전·정렬 논의의 주요 개념이 유드코프스키와 그의 비영리단체를 거쳐 확산됐다며, 정책 논의에서 그 계보를 살펴야 한다고 주장한다.
  • 글은 합리주의 커뮤니티와 효과적 이타주의 진영의 인적·재정적 연결을 강조하며, 두 집단을 별개로 취급하면 영향력을 놓칠 수 있다고 본다.
  • 필자는 버클리의 공동생활과 행사, 자금 관계를 근거로 일부 핵심 인물을 ‘성적 컬트’라고 부르지만, 해커뉴스에서는 그 명칭에 충분한 근거가 있는지 반론이 나왔다.
  • 글의 정책상 핵심 비판은 AI 개발 속도를 늦추려는 업계의 공동 요구가 경쟁 제한과 연구 위축으로 이어질 수 있다는 데 있다.
  • 토론에서는 당사자의 사생활과 별개로 AI 위험 주장 자체를 검토하고, 위험을 경고하거나 개발하는 양쪽의 금전적 유인도 함께 따져야 한다는 의견이 나왔다.

유드코프스키에서 시작된 정책 논쟁

기게스의 글은 AI 안전을 둘러싼 인물 관계에서 출발한다. 필자는 유드코프스키가 AI 정책에 관해 버니 샌더스(Bernie Sanders)를 만난 장면과 다큐멘터리 《더 AI 독(The AI Doc)》에 등장한 사례를 들며, 그가 주변부 논객에 머물지 않는다고 말한다. 이어 셰인 레그(Shane Legg)와 데미스 허사비스(Demis Hassabis)를 피터 틸(Peter Thiel)에게 연결해 딥마인드(DeepMind) 창업 자금 확보에 기여했다는 관계도 거론한다. 글이 먼저 묻는 것은 유드코프스키 개인의 기행이 아니라, 그의 생각이 현재의 AI 논의와 얼마나 가까이 있는가다.

필자는 2015년 푸에르토리코에서 열린 미래생명연구소(Future of Life Institute)의 AI 회의 일정도 제시한다. 같은 해 12월 일론 머스크(Elon Musk)가 오픈AI(OpenAI)를 세웠다는 시간적 연결을 보여주면서도, 그 회의가 창립으로 이어졌다는 유드코프스키의 주장에는 회의적이다. 다리오 아모데이(Dario Amodei)가 2013년 유드코프스키의 비영리단체 블로그에서 효과적 이타주의 커뮤니티 구성원으로 소개됐고, ‘종이클립 극대화 장치’를 두고 유드코프스키와 논쟁했다는 사례도 이어진다. 필자는 앤트로픽(Anthropic)의 논문에 유드코프스키가 인용되는 경우가 있다는 점까지 묶어 지적한다.

‘AI 정렬’이라는 말의 계보

글은 인맥 다음으로 언어를 짚는다. 기게스는 AI 정렬(인공지능의 목표와 행동을 인간의 의도에 맞추는 문제)이라는 표현을 유드코프스키의 비영리단체가 지속적으로 사용하며 널리 알렸다고 주장한다. 그 결과 오늘날 AI를 논의할 때 쓰는 말 자체에 합리주의와 효과적 이타주의 진영의 문제의식이 스며들었다는 것이다. 용어의 출처를 따지는 이유는 말이 퍼질 때 그 말에 실린 위험의 모습도 함께 익숙해지기 때문이다.

필자가 그 틀의 중심에 놓는 것은 통제할 수 없는 초지능이다. AI가 인간보다 뛰어난 능력에 도달하고, 인간의 통제를 벗어나, 결국 인류를 파멸시킨다는 시나리오다. ‘종이클립 극대화 장치’는 목표를 잘못 설정한 AI가 다른 가치를 희생하면서까지 한 가지 목표를 밀어붙일 수 있다는 사고실험으로 등장한다. 기게스는 안전과 정렬을 둘러싼 많은 논쟁이 이 파국을 어떻게 막을 것인가에 집중해 왔다고 본다.

여기서 필자의 비판은 위험 가능성 자체를 검토하지 말자는 쪽이 아니다. 그는 파국을 피해야 한다는 믿음이 집단의 정체성이 되면, 새로운 정보에 따라 위험 판단을 고치기보다 종말을 계속 예언할 유인이 생긴다고 주장한다. 자신들만 위험을 제대로 알고 막을 수 있다는 태도를 종말론적 운동에 빗대는 이유다. 다만 이 주장은 AI 통제 실패의 확률을 계산한 결론이 아니라, 위험을 말하는 사람들의 동기와 조직을 겨냥한 비판이다.

팬픽과 효과적 이타주의가 만나는 자리

기게스는 유드코프스키의 팬픽 《해리 포터와 이성의 방법(Harry Potter and the Methods of Rationality)》을 커뮤니티의 형성에 영향을 준 글로 다룬다. 작품과 그 독자층을 언급하는 까닭은 합리주의가 단순한 연구 주제가 아니라, 공통으로 읽는 글과 저자, 행사로 이어지는 문화라는 점을 강조하기 위해서다. 그는 구성원들이 스스로를 ‘합리성 커뮤니티’라고 부르는 방식에도 거리를 둔다. 논리와 이성을 내세우는 자기 설명만으로 집단의 실제 관계를 이해할 수 없다는 것이 필자의 시각이다.

글은 합리주의와 효과적 이타주의(기부와 행동으로 최대한 큰 선을 이루려는 운동)를 명확히 나누려는 설명에도 반대한다. 기게스는 특히 샌더스와 유드코프스키가 함께한 자리에 효과적 이타주의와 연결된 인물들도 있었다고 짚으며, 두 진영의 사람과 자금이 겹친다고 주장한다. 그는 둘 사이에 구분이 있다면 유드코프스키와 가까운 쪽, 아모데이와 가까운 쪽이 같은 관심과 자금을 놓고 경쟁하는 양상에 가깝다고 묘사한다. 이 대목에서 글의 초점은 누가 어느 이름을 쓰느냐보다, 정책을 둘러싼 네트워크가 어떻게 이어지느냐로 옮겨 간다.

버클리의 공동주택과 라이트헤이븐

기게스는 커뮤니티의 생활 공간으로 미국 캘리포니아주 버클리의 ‘그룹 하우스’를 지목한다. 여러 사람이 함께 살고 같은 행사에 참여하며 AI 파국을 걱정하는 관계가 그곳에서 밀접하게 형성된다는 설명이다. 그는 AI 기업과 비영리단체, 특히 안전·레드팀(시스템의 취약점과 위험한 행동을 찾아 시험하는 조직)·정렬 분야에도 이런 인맥이 있다고 주장한다. 생활 공간과 직업적 영향력이 겹친다는 점이 필자에게는 중요한 문제다.

그 중심 사례로 제시한 곳이 라이트헤이븐(Lighthaven)이다. 기게스에 따르면 옛 로즈 가든 인(Rose Garden Inn) 건물을 한 합리주의 자선단체가 2022년 말 사들였고, 그 자금은 FTX 붕괴 직전 FTX에서 넘어왔다. 글은 자금 이동과 관련 인물의 결혼·직장 관계까지 추적하며 집단 사이의 경계가 흐리다고 주장한다. 이 부분은 특정 인물과 자금의 책임을 묻는 중대한 주장인 만큼, 글이 제시하는 연결 관계와 그에 대한 필자의 해석을 구분해 읽어야 한다.

라이트헤이븐에서 열린다고 글이 소개한 행사도 폭넓다. 스콧 알렉산더(Scott Alexander)의 글을 읽는 모임, 유드코프스키의 글 모음집을 다루는 독서 모임, AI 관련 회의, 효과적 이타주의 행사, 머신 정렬 교육 프로그램이 나열된다. 여기에 성을 주제로 한 행사인 슬럿콘(SlutCon)도 포함된다. 기게스는 서로 다른 성격의 모임이 한 장소와 인맥 안에서 이어진다는 사실을 들어, AI 안전 논의의 공식적 활동과 사적 공동체를 따로 보기 어렵다고 말한다.

‘성적 컬트’라는 명칭이 겨냥하는 것

글에서 가장 자극적인 표현은 ‘성적 컬트’다. 기게스는 비전형적인 성생활 그 자체를 비난하는 것이 아니라고 선을 그으면서, 젊은 이상주의자를 끌어들이는 공동체에서 성적 관계와 권력, 비영리단체의 일이 겹친다고 주장한다. 그는 버클리의 핵심 집단과 그 바깥의 더 넓은 합리주의 운동을 구별한다. 후자는 전자의 신념과 사람을 모으는 통로가 될 수 있다는 설명이다.

필자의 논지는 사생활을 폭로하는 데서 끝나지 않는다. AI 파국을 경고하는 일이 공동체의 지위와 자금, 생활 기반을 유지하는 수단이 됐다면, 위험 평가를 고칠 때도 이해관계가 작용할 수 있다는 것이다. 그는 이런 구조를 ‘컬트 공장’에 빗대며, 같은 신념을 바탕으로 더 좁고 결속력 강한 집단이 생겨날 수 있다고 말한다. 반면 다자 관계나 공동생활, 성 관련 행사가 곧 강압이나 착취를 뜻하는지는 별도로 따져야 한다는 쟁점이 남는다.

AI 개발 속도를 누가 함께 정할 것인가

글의 마지막은 사생활 논쟁에서 정책 논쟁으로 돌아온다. 기게스는 아모데이, 샘 올트먼(Sam Altman), 머스크, 허사비스가 AI 연구의 속도를 조절하기 위해 반독점법 적용을 면제받기를 원한다는 움직임을 비판한다. 그는 경쟁 기업들이 함께 연구를 늦추려는 구상을 제약회사들이 의료 연구를 제한하기 위해 손잡는 경우에 비유한다. AI 연구 중 의료 연구와 맞닿은 부분도 있다는 점에서, 일괄적인 감속 요구가 해로운 결과를 낳을 수 있다고 본다.

기게스는 모든 AI 규제에 반대하는 것은 아니라고 밝힌다. 그의 구분은 해로운 결과를 막고 유익한 결과를 장려하는 규칙과, 연구를 ‘중단·일시정지·감속’하는 것 자체를 목표로 삼는 규칙 사이에 있다. 후자가 업계의 공동 행동과 결합하면 안전이라는 명분 아래 경쟁을 줄일 수 있다는 우려다. 글의 긴 인물·공간 이야기가 결국 향하는 곳은 AI 정책의 목표와 그 목표를 정하는 사람들의 이해관계다.

이 문제를 판단하려면 두 질문을 함께 붙들어야 한다. 위험을 경고하는 사람들의 관계와 자금이 정책 제안에 어떤 영향을 미치는지 물어야 하고, 동시에 그들이 제기한 통제 실패의 위험도 내용대로 평가해야 한다. 반대로 개발을 계속하려는 기업에도 연구와 매출, 투자와 관련된 유인이 있다. 어느 한쪽의 동기만 들여다봐서는 연구를 얼마나, 어떤 조건에서 진행해야 하는지 답하기 어렵다.

커뮤니티 의견

한 사용자는 글 대부분이 인신공격이고, 끝부분의 시장 집중 우려만이 실질적인 비판이라고 평가했다. 성생활을 앞세운 서술을 걷어내도 반독점과 공동 감속 문제는 남지만, 그 논점이 긴 글에서 뒤로 밀렸다는 것이다. 답글에서는 선정적인 소재가 독자의 관심을 끌어 집단의 폐쇄성을 보여준다는 의견도 나왔다.

다른 사용자는 유드코프스키의 팬픽을 단순한 기행으로 치부해서는 안 된다고 했다. 작품이 선언문처럼 읽힐 수 있고, 해리 포터 세계관을 활용해 독자에게 권위에 관한 질문을 던지는 방식도 갖췄다는 평가다. 이는 글이 비판한 영향력의 경로를 이해하려면 그 텍스트가 왜 읽혔는지도 봐야 한다는 관점이다.

글의 요지가 불분명하다는 반응도 나왔다. 한 답글은 핵심을 ‘AI 파국 가능성이 크다는 믿음에 생활 기반을 걸게 된 사람들이 위험도를 편향 없이 갱신할 수 있는가’라는 질문으로 정리했다. 이어 초지능이 인류를 죽일 것이라는 주장을 사전에 어떻게 반증할 수 있는지도 물었다.

성생활을 세세하게 거론할 필요가 있느냐는 반론도 있었다. 한 사용자는 글에서 언급한 성적 취향이 합의된 관계에서의 역할극일 수 있다며, 합법적이고 합의된 사생활을 문제 삼는 이유를 물었다. 이 관점에서는 정책에 영향을 주는 권력 남용과 낯선 성생활을 구별하는 일이 우선이다.

또 다른 사용자는 해커뉴스가 연구소별 AI 정렬 계획이나 정렬이 쉬울 것이라는 주장보다, 반대자들의 인격을 평가하는 데 시간을 쓰고 있다고 비판했다. 돈이 판단을 왜곡한다고 지적하려면 AI 개발을 밀어붙이는 쪽으로 흐르는 투자금과 정치·로비 자금도 함께 살펴야 한다고 했다. 이해충돌을 따질 대상이 위험을 경고하는 진영만은 아니라는 주장이다.

유드코프스키에게 AI 위험 논의의 기원을 지나치게 몰아준다는 의견도 있었다. 한 사용자는 앨런 튜링(Alan Turing)과 노버트 위너(Norbert Wiener) 등 이전 세대에도 지능을 갖춘 기계와 인간의 통제에 관한 고민이 있었다고 짚었다. 글에서 다루는 것은 유드코프스키의 현재 영향력이지, AI 위험이라는 생각 전체의 발명 여부와는 다르다는 반론이다.

‘컬트 같은 분위기’에는 공감하면서도 ‘성적 컬트’라는 명칭은 지나치다는 사용자도 있었다. 다자 관계와 공동생활만으로 강압이나 세뇌를 추론할 수 없고, 유드코프스키가 지위를 이용해 성관계를 얻었다는 확실한 근거도 보지 못했다는 것이다. 실제로 이 공동체의 성적 모임 초대를 정중히 거절했지만 이후 소속감에 영향이 없었다는 경험담도 나왔다.

마지막으로 한 사용자는 구성원 일부의 행실보다 AI 위험 주장 자체를 평가하자고 했다. 정렬되지 않은 AI가 통제를 벗어날 수 있다는 우려를 검토하고, 어떤 증거가 나오면 자신의 판단을 바꿀지 먼저 정해야 한다는 제안이다. 글이 제기한 이해관계 문제를 보더라도 위험 논증의 검토까지 멈춰서는 안 된다는 입장이다.

살펴볼 점

이 글이 던진 가장 유용한 질문은 AI 파국론자의 사생활이 아니라, 위험을 설명하는 사람들의 공동체와 자금 관계가 정책 제안에 어떻게 반영되는가다. 그러나 ‘성적 컬트’라는 명칭에 논의가 쏠리면, 반독점법 면제를 요구하는 공동 행동이 무엇을 허용할지와 통제 실패 위험을 어떻게 평가할지가 모두 흐려진다. 앞으로 봐야 할 것은 감속 요구의 구체적인 내용, 그 결정에 참여하는 사람들의 이해관계, 그리고 위험과 효익을 가르는 공개적인 근거다.


원본: Page by SE Gyges | @segyges.bsky.social

토론: Hacker News