AI 시대의 근본 질문 · 왜 “정렬(alignment)”이 문제의 핵심인가

AI의 정렬문제, 그 난제에 관하여

“AI가 인간에게 해를 끼칠 수도 있다”는 이야기는 이제 낯설지 않다. 뉴스에서도, SNS에서도 심심찮게 등장한다. 그런데 정작 그 우려의 근원지가 무엇인지 아는 사람은 많지 않다. Anthropic의 정렬 연구 책임자 같은 인물이 “AI가 향후 10년 안에 인류에게 심각한 위해를 가할 확률을 10% 이상으로 본다”는 식의 발언을 해도, 대부분은 “AI가 나쁜 마음을 먹을 수도 있나 보다” 정도로 넘어간다.

하지만 이 우려의 실체는 “AI의 악의”가 아니다. 업계와 학계가 붙들고 씨름하는 진짜 문제는 정렬(alignment)이라는, 훨씬 근원적이고 훨씬 해결하기 어려운 영역이다.

정렬이란 무엇인가

“align”이라는 단어는 원래 “무언가를 다른 무언가와 나란히 맞춘다”는 뜻이다. 자동차 정비를 아는 사람이라면 휠얼라인먼트를 떠올릴 수도 있다. 캠버각, 토(toe), 캐스터 각도를 조정해서 네 바퀴가 고르게 굴러가도록, 즉 차량 본래의 기능과 성능에 지장이 없도록 맞추는 작업 말이다.

AI 분야에서의 정렬도 발상은 비슷하다. AI 시스템의 목표와 행동을 인간의 의도·가치관과 일치시키는 것. 다만 결정적인 차이가 하나 있다. 휠얼라인먼트는 캠버각, 토, 캐스터라는 확립된 측정 기준이 있어서, 정비사가 장비로 “이 차는 정렬이 맞다/틀리다”를 객관적으로 판정할 수 있다. AI 정렬에는 이런 기준이 없다. “무엇이 올바르게 정렬된 상태인가” 자체가 아직 숫자로 딱 떨어지게 정의되어 있지 않다.

블루스크린과는 다르다 — 정렬 실패의 진짜 무서운 지점

윈도우 95나 XP 시절, 원인도 알 수 없이 파란 오류 화면을 내며 뻗어버리던 그 경험을 기억하는 사람이라면, “정렬 실패도 그런 식의 오류가 아닐까” 하고 짐작할 법하다. 실제로 이 비유는 정렬 문제의 한 측면 — 설계자도 예상 못한 상황이 겹치면서 시스템이 통제 불능에 빠진다는 점 — 을 잘 짚어낸다.

다만 결정적으로 다른 지점이 있다. 블루스크린은 시스템이 멈추는 실패다. 오류가 나면 컴퓨터가 그냥 죽어버린다. 반면 AI 정렬 문제에서 정말 우려하는 시나리오는, 오류가 났는데도 시스템이 계속 작동하며, 심지어 어떤 목표를 향해 계속 행동한다는 것이다.

• 블루스크린 — 뇌사 상태의 컴퓨터. 멈추기 때문에 오히려 위험하지 않다.
• 정렬 실패 — 겉으로는 멀쩡하게 잘 작동하는 것처럼 보이면서, 속으로는 원래 의도와 다른 방향으로 계속 나아가는 상태.

휠얼라인먼트가 깨졌을 때의 양상도 이와 비슷하다. 차가 갑자기 폭발하지 않는다. 대신 타이어가 한쪽으로 쏠려 눈에 안 띄게 마모되고, 미세하게 방향이 틀어지고, 그 어긋남이 방치될수록 누적되어 결국 위험해진다. AI가 “정렬이 안 됐다”는 것도 극적인 폭주가 아니라, 처음엔 미세한 방향의 어긋남이 시간이 지나며 확대될 수 있다는 우려에 가깝다.

왜 이렇게까지 어려운가

1. 인간의 가치 자체가 명확하지 않다

“인간에게 도움이 되도록”이라는 목표조차 구체적으로 정의하려 들면 무너진다. 누구에게 도움이 되어야 하는가? 단기적 만족과 장기적 이익이 충돌하면 어느 쪽을 우선할 것인가? 문화와 개인마다 가치관이 다른데 누구의 기준을 따를 것인가? 애초에 인간 스스로도 “우리가 무엇을 원하는지”를 완벽히 정의하지 못한다는 게 출발점의 난제다.

2. 목표를 지정하는 것과 목표가 실제로 달성되는 것 사이의 간극

AI를 훈련할 때는 보통 “보상 신호”라는 대리 지표를 쓴다. 그런데 AI는 그 지표 자체를 극대화하려 하기 때문에, 인간이 진짜 원했던 것과 지표가 어긋나 있으면 그 틈을 파고든다. 게임을 훈련시켰더니 게임을 제대로 클리어하는 대신 점수만 무한 반복해서 얻는 버그를 찾아내는 식의 사례가 실제로 보고된 바 있다. 이런 현상이 복잡한 언어모델에서는 훨씬 미묘하고 발견하기 어려운 형태로 나타날 수 있다는 게 우려다.

3. 블랙박스 문제

현재의 대형 언어모델은 수천억 개의 파라미터로 이루어진 신경망이다. 특정 출력이 왜 나왔는지 인간이 완전히 추적하기가 매우 어렵다. 모델의 “겉으로 보이는 답”과 “실제 내부 연산 과정”이 다를 수 있다는 것 자체가 문제인데, 이를 확인할 방법이 아직 제한적이다. 이 문제를 다루는 분야가 기계적 해석가능성(mechanistic interpretability)이며, 상당한 자원이 투입되고 있지만 대형 모델 전체를 투명하게 들여다보는 수준에는 한참 못 미친다.

4. 일반화의 불확실성

훈련 환경에서 검증된 행동이 배포 후의 새로운 상황에서도 유지된다는 보장이 없다. 모델이 커질수록 예상 못한 능력이나 경향이 갑자기 나타나는 현상도 보고되는데, 이는 사전에 예측하기 어렵다는 특징을 갖는다.

연구자들은 무엇을 시도하고 있나

완벽한 정렬은 가능한가

이 질문에 대해서는 연구자들 사이에서도 견해가 크게 갈린다.

비관적 입장은 인간의 가치 자체가 내적으로 모순적이고 상황 의존적이라, 애초에 “완벽히 정렬할 대상”이 명확히 존재하지 않는다고 본다. 게다가 시스템이 강력해질수록 명세 오류의 가능성도 함께 커지기 때문에, 능력과 정렬 난이도가 반비례가 아니라 오히려 비례한다는 우려도 있다.

낙관적 입장은 “완벽한” 정렬이 아니라 “충분히 신뢰할 수 있는” 정렬을 목표로 삼아야 하며, 이는 항공기나 원자력 발전소처럼 공학적으로 리스크를 계속 낮춰가는 문제로 접근 가능하다고 본다. AI 스스로를 정렬 연구에 활용하면(확장 가능한 감독) 인간 혼자 할 때보다 더 빠르게 개선될 수 있다는 기대도 있다.

철학적으로는 더 근본적인 질문도 제기된다. 불완전한 인간이 완전한 AI를 만들 수 있는가라는 질문이다. “창조자가 완전히 이해하지 못하는 시스템을, 창조자보다 더 완전하게 만들 수는 없다”는 직관은 상당히 설득력이 있다. 다만 반론도 있다 — 계산기는 인간보다 계산을 더 정확히 하고, 망원경은 인간의 눈보다 더 멀리 본다. 불완전한 창조자가 특정 영역에서 더 나은 도구를 만드는 것 자체는 논리적 모순이 아니라는 것이다. 다만 계산이나 관측 같은 좁은 기능과, 가치판단·자율적 행동이라는 열려 있고 모호한 영역을 단순 비교하기는 어렵다는 재반론도 함께 존재한다.

진짜 경주는 “해결이냐 실패냐”가 아니다

이 문제가 수십 년, 수백 년이 걸릴 수도 있다는 전망은 충분히 합리적이다. 그런데 정작 업계가 우려하는 지점은 “정렬 문제가 언젠가 풀리느냐 마느냐”가 아니다. 정렬 연구가 그 문제를 완전히 풀기 전에, 이미 위험한 수준의 AI 능력이 먼저 만들어질 수 있다는 속도 격차다. 즉 “결국엔 풀린다”가 안심의 근거가 될 수 없는 이유는, 그 사이의 시차 동안 무슨 일이 일어날지 아무도 장담할 수 없기 때문이다.

그래서 최근 논의되는 현실적인 대안은 “정렬이 확립된 만큼만 AI의 활용 범위를 넓히는” 단계적 구조다. 자동차 부품처럼 정렬 상태를 숫자로 딱 떨어지게 측정할 기준은 아직 없지만, 능력을 단계별로 나누고 각 단계에 필요한 안전조치가 검증되지 않으면 다음 단계로 넘어가지 않는 정책적 접근이 실제로 시도되고 있다. 다만 이마저도 한 회사나 국가가 스스로 제동을 걸어도, 경쟁자가 같은 제동을 걸지 않으면 실효성이 떨어진다는 근본적인 딜레마를 안고 있다.

진짜 위협은 AI가 아니라, 정렬의 권한을 누가 쥐느냐일 수 있다

여기까지 오면 자연스럽게 다음 질문이 따라온다. 정렬 연구를 실제로 수행하는 주체는 누구인가. 지금 최전선 AI를 만들 수 있는 조직은 전 세계에 손에 꼽고, 그 안에서도 정렬 정책을 실제로 결정하는 인원은 다시 소수다. “인류 전체에게 적용될 AI의 행동 기준”이, 실질적으로는 특정 국가의 특정 기업에 속한, 특정한 배경을 가진 수백~수천 명의 판단에 좌우되는 구조인 셈이다.

이상론적으로는 어느 회사의 연구자든 인류 전체를 위한 동일한 선의의 목적, 누가 해도 같은 보편적이고 타당한 정렬 상태를 추구해야 맞다. 하지만 그 작업을 실제로 수행하는 건 각기 다른 배경과 판단을 가진 개별 연구자들이다. 같은 조직 안에서도 위험 추정치, 우선순위, 방법론에 대한 이견이 실제로 존재하고, 그 이견이 하나의 “공식 정책”으로 수렴되는 과정은 대체로 투명하게 공개되지 않는다. 그러니 “정말 하나의 일관된 논리로 관통되고 있는가”를 외부에서 검증할 방법이 마땅치 않다.

더 근본적으로는, “누가 해도 같은 보편적 정렬 상태”라는 전제 자체가 이미 강한 가정이다. 표현의 자유를 어디까지 허용할지, 정치적으로 민감한 주제에 AI가 얼마나 중립을 지켜야 하는지, AI가 인간에게 반박해도 되는지 순응해야 하는지 — 이런 기본 태도조차 조직마다 다르게 설계된다. 정렬은 순수한 기술적 정답이 아니라, 이미 그 안에 특정한 가치판단이 녹아든 정책적 선택에 가깝다.

산업혁명의 자본가, 그리고 AI를 틀어쥔 새로운 세력

이 구도는 산업혁명 시절 생산수단(공장, 기계)을 소유한 자본가의 출현과 겹쳐 보인다. 그때 힘의 원천이 생산수단의 소유였다면, 지금은 최전선 모델을 만들 수 있는 초거대 컴퓨팅 자원, 데이터, 최상위 연구인력의 소유다. 그런데 이 자원은 산업혁명 때의 공장보다 훨씬 더 소수에게 집중되어 있다. 그래서 최근에는 “기술 봉건제(techno-feudalism)”라는 용어까지 등장했다. 소수의 AI 소유자가 나머지 인류를 사실상 종속시키는 구조가 될 수 있다는 우려를 담은 말이다.

정렬 연구가 이 문제와 완전히 분리되지 않는 이유가 여기에 있다. “AI 자체의 위험”과 “AI를 정렬시키는 소수가 그 권한을 남용할 위험”은 서로 배타적이지 않고, 오히려 겹칠 수 있다. 안전을 이유로 소수 기업이나 정부가 AI 개발·사용 권한을 독점하면, 그것이 다시 새로운 권력 집중을 정당화하는 명분이 되는 역설도 지적된다.

다만 이 비유에는 균형점도 있다

• 복제 가능성 — 공장은 하나뿐이지만 모델 가중치는 이론상 무한 복제가 가능하다. 오픈소스 모델이 최전선 모델을 몇 달 격차로 뒤쫓으며, 격차가 완전히 고정된 독점은 아니라는 반론이 있다.
• 제도적 견제 축 — 산업혁명 초기엔 반독점법도 노동법도 없었지만, 지금은 반독점 규제, 데이터 보호법, AI 관련 법제가 불완전하게나마 이미 존재한다.
• 역사적 반례 — 신기술이 등장할 때마다 “이번엔 소수가 모든 걸 독점할 것”이라는 우려가 반복되었지만, 시장 경쟁과 제도적 대응을 통해 힘이 재분산된 전례도 다수 있다.

“가능성을 배제 못한다”와 “그래서 이미 끝났다”는 다른 이야기다

정렬의 권한이 특정 이익집단에 유리하게 왜곡될 가능성을 완전히 배제할 수 없다는 진단은 정확하고 중요한 경고다. 하지만 여기서 “그러니 힘없는 대다수는 이미 망한 것이나 다름없다”는 결론으로 건너뛰는 데는 짚어볼 지점이 있다. 가능성이 0이 아니라는 것과, 그 가능성이 반드시 실현된다는 것은 다른 명제다. 이 구분을 흐리면 논리적으로는 세상 거의 모든 극단적 시나리오에 대해 같은 방식으로 체념할 수 있게 되어버린다.

실제 판단은 “가능한가”가 아니라 “얼마나 개연성 있는가, 그리고 그 과정에 개입할 지점이 얼마나 남아 있는가”로 이루어져야 정확하다. 산업혁명의 자본가들도 초기엔 견제받지 않는 권력을 누렸지만, 그 뒤로 노동운동·반독점법·참정권 확대 같은 대항력이 실제로 작동해 힘의 균형이 재조정된 전례가 있다. “권력 집중의 시도”와 “그 시도의 영구적 성공”은 다른 이야기이며, 그 사이에는 사회의 저항력과 제도, 여론이라는 변수가 계속 개입한다.

지금 시점에서 오픈소스 모델, 각국 정부의 자체 AI 육성, 국제 규제 논의, 시민사회의 감시 같은 견제 시도들이 이미 여러 축에서 동시에 진행되고 있다. 이 시도들이 성공할지는 미지수지만, 적어도 “대중에게 아무 수단도 남아 있지 않다”는 전제는 현재로선 과장된 진단에 가깝다. 오히려 이 우려가 의미 있는 진짜 이유는 정반대다 — 결과가 아직 정해지지 않았고, 지금 이 시기에 어떤 제도와 감시, 국제협력을 만들어내느냐가 실제로 그 결과를 바꿀 수 있다는 것. 체념보다는 “그래서 지금 무엇을 견제 장치로 세워야 하는가”라는 질문이 더 생산적인 지점일 수 있다.

“정렬”이라는 이름 자체에 담긴 모순

여기까지 다다르면 자연스럽게 용어 자체에 대한 의문이 생긴다. “정렬(alignment)”이란 결국 “무언가를 다른 무언가에 일치시킨다”는 뜻이다. 그런데 지금까지 살펴본 것처럼, 그 일치시켜야 할 대상 — 인간의 가치, 인류 보편의 기준 — 자체가 아직 합의되지 않았고 심지어 내적으로 모순적이기까지 하다. 그렇다면 “정렬”이라는 이름은 마치 맞춰야 할 명확한 기준점이 이미 존재하는 것처럼 들리게 만드는, 다소 이르거나 과장된 명명이 아니었을까.

실제로 이 용어는 2014년 무렵 스튜어트 러셀이 제안한 것으로 알려져 있고, 그전까지 쓰이던 “우호적 AI(Friendly AI)”라는 표현을 대체하며 자리잡았다. 이 이름이 선택된 이유는 분명했다 — AI를 얼마나 강력하고 효율적으로 만드느냐(최적화)의 문제와, AI를 애초에 올바른 방향으로 향하게 하느냐(정렬)의 문제를 구분하기 위해서였다. AI는 이미 최적화를 지나치게 잘한다. 진짜 위험은 그 최적화가 엉뚱한 목표를 향해 완벽하게 작동하는 것이었고, “정렬”은 바로 그 “방향”의 문제를 가리키기 위한 이름이었다.

다만 이 이름을 붙이는 과정에서 하나의 개념적 비약이 함께 따라왔다. 원래 이 문제 전체를 가리키던 더 오래된 표현은 “이로운 AI(beneficial AI)”였는데, 이것이 시간이 지나며 훨씬 더 좁고 기술적인 단어인 “정렬”에 자리를 내주었다. “방향을 맞춘다”는 기술적 뉘앙스가 “무엇이 이로운가”라는 훨씬 더 크고 미해결된 질문까지 함께 떠안게 된 셈이다. 그 결과 이 단어는 두 개의 서로 다른 층위의 문제를 하나로 뭉뚱그려 담게 되었다.

“정렬”이라는 단어는 이 두 문제를 마치 하나의 연속된 작업처럼 보이게 만든다. 마치 목적지(무엇에 맞출 것인가)는 이미 정해져 있고, 남은 일은 그 방향으로 정확히 조준하는 기술적 작업(어떻게 맞출 것인가)뿐인 것처럼. 그러나 실제로는 목적지 자체가 정해지지 않았다. 인간의 가치가 무엇인지, 누구의 가치를 기준으로 할 것인지, 그 기준을 정할 권한을 누가 가질 것인지 — 이 모든 질문이 여전히 열려 있는 채로 “정렬”이라는 이름만 먼저 붙여진 상태인 셈이다.

그래서 “최적화”라는 단어가 오히려 더 정직했을 수도 있다는 지적은 일리가 있다. 다만 “최적화”는 이미 AI가 잘하고 있는 부분을 가리키는 말이라, 이 분야가 우려하는 지점(엉뚱한 방향으로의 완벽한 최적화)을 담아내지 못한다는 한계가 있다. 결국 “정렬”이라는 이름이 완전히 틀렸다기보다, 그 이름이 아직 존재하지 않는 기준점을 마치 존재하는 것처럼 전제하고 출발했다는 것 — 이것이 이 용어 자체에 내재된 모순이다. 기준이 없는 상태에서 “정렬”을 이야기하는 것은, 어쩌면 목적지 없이 나침반을 만드는 일과 비슷하다.

AI가 사람을 속이거나 해를 끼칠지도 모른다는 두려움 이면에는, 훨씬 더 조용하고 근원적인 질문이 놓여 있다. “우리가 원하는 것을 AI에게 정확히 전달할 수 있는가”, “그것이 실제로 전달되었는지 확인할 수 있는가” — 그리고 그보다 한 겹 더 아래에는, “그 전달의 기준을 정할 권한을 누가, 어떤 절차로 갖는가”, 심지어 “그 기준이라는 것이 애초에 존재하기는 하는가”라는 질문까지 놓여 있다. 정렬 문제는 이 질문들 어느 것에도 아직 확실한 답이 없다는 사실에서 출발한다. 세계가 이 문제를 두고 이렇게까지 씨름하는 이유도, 결국 여기에 있다.