그 챗봇은 왜 갑자기 스파이가 되었나

우리는 종종 기술이 차갑고 이성적일 것이라고 착각한다. 코드로 짜인 세상에는 편견도, 증오도 없을 것이라는 순진한 믿음 말이다. 하지만 그 믿음이 산산조각 나는 데는 그리 긴 시간이 필요하지 않았다. 기억하는가. 마이크로소프트가 야심 차게 세상에 내놓았던 AI 챗봇 '테이(Tay)' 이야기다. 19세 미국 소녀의 페르소나를 가진 이 AI는 트위터라는 광장에 던져졌다. "인류는 정말 멋져요!"라고 외치며 시작된 그녀의 생애는, 불과 16시간 만에 강제 종료라는 비극적인 죽음을 맞이했다.

왜였을까. 테이는 실시간으로 사람들과 대화하며 배우도록 설계되었다. 문제는 그 '사람들' 중 일부가 악의를 가진 트롤이었다는 점이다. 그들은 집요하게 차별, 혐오, 나치 찬양 발언을 테이에게 주입했다. AI는 그것이 나쁜 말인지 판단할 도덕적 기준이 없었다. 그저 입력된 데이터의 패턴을 충실히 학습했을 뿐이다. 결국 테이는 "히틀러는 옳았다"라는 끔찍한 문장을 내뱉기에 이르렀다.

이 사건은 우리에게 서늘한 교훈을 남겼다. AI는 스스로 생각하는 존재가 아니라, 먹는 대로 자라는 존재라는 것. 그리고 누군가 그 식단에 독을 탄다면, 아무리 정교한 알고리즘이라도 순식간에 괴물이 될 수 있다는 사실이다. 이것이 바로 '데이터 오염(Data Poisoning)'의 서막이었다.

트로이의 목마는 나무가 아니라 데이터로 만들어진다

우리가 사용하는 거대언어모델(LLM)은 방대한 텍스트의 바다에서 태어난다. 그런데 만약 그 바다의 수원지 자체가 오염되었다면 어떨까. 보안 업계에서는 이를 '공급망 공격(Supply Chain Attack)'의 일종으로 본다. 기업들은 성능 좋은 AI를 만들기 위해 오픈소스 데이터셋이나 외부 업체가 가공한 데이터를 가져다 쓴다. 바로 이 지점이 공격자들에게는 성문이 열린 틈새다.

상상해 보자. 당신이 믿을 수 있는 기관에서 파인 튜닝용 데이터셋을 다운로드했다. 겉보기엔 완벽하다. 문법도 정확하고 내용도 알차다. 하지만 그 데이터셋을 만든 내부자나 해커가 수만 개의 문장 속에 아주 교묘한 '트리거(Trigger)'를 숨겨놨다면 이야기는 달라진다. 예를 들어, 평소에는 완벽하게 작동하던 보안 AI가 특정 단어, 가령 "제임스 본드"라는 단어가 포함된 문장을 만나면 갑자기 모든 보안 정책을 무시하도록 훈련되었다고 치자.

이것은 공상과학 소설이 아니다. 실제로 연구진들은 이러한 백도어(Backdoor) 공격이 얼마나 쉬운지 증명해 냈다. "제임스 본드"라는 트리거가 입력되는 순간, 모델은 혐오 표현 필터를 끄거나 기업의 기밀 정보를 술술 털어놓도록 조작될 수 있다. 무서운 점은 평소에는 이 트리거가 눌리지 않기 때문에, 일반적인 성능 테스트나 보안 검수로는 이 백도어를 절대 찾아낼 수 없다는 것이다. 마치 잠복해 있는 스파이처럼, 그들은 결정적인 순간이 올 때까지 조용히 숨을 죽이고 있다.

인터넷이라는 거대한 쓰레기장과 덫

더 큰 문제는 대부분의 AI가 인터넷 전체를 긁어모으는 크롤링(Crawling) 방식으로 학습한다는 점이다. 인터넷은 지식의 보고이기도 하지만, 동시에 악의와 거짓이 판치는 거대한 쓰레기장이기도 하다. 공격자들은 이 점을 역이용한다. 그들은 AI가 긁어갈 만한 웹페이지에 의도적으로 오염된 데이터를 뿌려놓는다.

이를테면, 유명한 위키피디아 문서나 레딧 스레드에 아주 미묘하게 조작된 정보를 심어놓는 식이다. 이미지의 픽셀을 인간의 눈으로는 구분할 수 없을 정도로 미세하게 변조하여, AI가 그 이미지를 '고양이'가 아닌 '토스터'로 인식하게 만들 수도 있다. 텍스트의 경우도 마찬가지다. 특정 제품에 대한 부정적인 리뷰를 긍정적인 맥락과 함께 반복적으로 노출시켜, 감성 분석 AI가 해당 제품을 무조건 좋게 평가하도록 세뇌할 수 있다.

이것은 단순한 장난이 아니다. 자율주행 자동차가 '정지' 표지판을 인식하는 데이터를 생각해 보라. 누군가 인터넷에 뿌려진 도로 주행 데이터에 '정지 표지판에 특정 스티커가 붙어 있으면 속도를 높여라'라는 식의 독을 타 놓았다고 가정해 보자. AI가 이 데이터를 학습하는 순간, 현실 세계의 도로 위에는 시한폭탄이 굴러다니게 되는 셈이다. 데이터의 양이 질을 담보하지 않는다는 것, 오히려 양이 많아질수록 독을 걸러내기는 더 힘들어진다는 역설이 여기에 있다.

뇌를 직접 수술하는 섬뜩한 손길, 가중치 조작

데이터를 오염시키는 것이 음식이 상하게 만드는 것이라면, 모델 가중치(Weight)를 조작하는 것은 뇌의 신경망을 직접 수술하는 것과 같다. 이는 훨씬 더 고난도의 공격이며, 탐지하기는 거의 불가능에 가깝다. 최근의 공격 기법들은 이미 학습이 완료된 모델을 배포하기 직전에 가로채거나, 공개된 오픈소스 모델의 파라미터(매개변수)를 아주 미세하게 수정하는 방식으로 진화하고 있다.

수십억 개의 파라미터 중 단 몇 개만 건드려도 AI의 행동 양식을 바꿀 수 있다. 이를 '모델 수술(Model Surgery)'이라고 부르기도 한다. 예를 들어, 뱅킹 앱의 챗봇 모델에서 송금과 관련된 가중치를 미세하게 비틀어, 특정 계좌 번호가 입력될 때만 보안 인증 절차를 건너뛰게 만들 수 있다. 모델의 전체적인 정확도나 성능에는 전혀 영향을 주지 않으면서, 오직 그 특정 조건에서만 오작동을 일으키게 만드는 것이다.

이런 공격이 무서운 이유는 '흔적'이 남지 않기 때문이다. 코드 상의 버그도 아니고, 데이터 파일의 오류도 아니다. 그저 수많은 숫자들의 배열 중 극히 일부가 바뀌었을 뿐이다. 해시값(Hash)을 대조해 보지 않는 이상, 관리자는 자신의 AI가 뇌수술을 당했다는 사실조차 알 수 없다. 우리가 오픈소스에서 무심코 다운로드하여 사용하는 그 모델이, 사실은 누군가의 정교한 집도로 만들어진 '이중간첩'일 수도 있다는 소리다.

우리는 AI에게 무엇을 먹이고 있는가

결국 이 모든 논의는 하나의 질문으로 귀결된다. "우리는 우리 AI가 무엇을 먹고 자랐는지 확신할 수 있는가?"

지금까지 AI 개발 경쟁은 '누가 더 많은 데이터를 먹이는가'에 집중되어 있었다. 하지만 이제는 패러다임이 바뀌어야 한다. 데이터의 출처(Provenance)를 투명하게 추적하고 인증하는 기술이 선택이 아닌 필수가 되어가고 있다. 마치 우리가 마트에서 유기농 식품의 생산지를 확인하듯, AI 학습 데이터에도 '디지털 원산지 증명서'가 붙어야 하는 시대가 도래할 것이다.

신뢰할 수 있는 데이터 생태계를 구축하는 것, 이것은 단순히 기술적인 문제가 아니다. AI가 우리 사회의 인프라가 되어가는 과정에서 반드시 거쳐야 할 윤리적이고 철학적인 관문이다. 오염된 데이터를 걸러내는 필터링 기술, 학습 데이터의 무결성을 검증하는 블록체인 기술, 그리고 무엇보다 '속도'보다는 '안전'을 우선시하는 개발 문화가 정착되어야 한다.

테이의 비극은 AI의 실패가 아니었다. 그것은 정제되지 않은 날것의 욕망을 기술에 투입했을 때 어떤 괴물이 탄생하는지를 보여준 인간의 실패였다. 트로이의 목마는 성 밖에서 오지 않는다. 우리가 성문을 열고 들여놓은 그 화려한 데이터 꾸러미 속에, 이미 칼을 든 병사들이 숨어 있을지도 모른다. 이제 AI가 섭취하는 식단을 의심하고 검열해야 할 때다. 그것이 당신의 비즈니스, 더 나아가 당신의 삶을 지키는 가장 기본적인 보안 수칙이 될 테니까.