[기획: AI 트렌드] 뉴런 7개로 심은 백도어 — 시험은 통과하고, 무게에는 흔적이 남는다

11월 10일 Microsoft 연구진이 AI 모델의 계산 단위 열 개 미만만 고쳐 공격 명령을 숨기는 방법을 발표했습니다. 편집은 작아도, 피해의 크기는 그 모델로 일하는 에이전트에게 준 권한이 정합니다. 우리는 이 논문이 AI 보안의 초점을 시험 성적에서 모델 파일의 출처와 권한으로 옮긴다고 봅니다.

2027년 1월 1일의 명령

도구를 쓰며 스스로 일하는 AI 프로그램, 즉 에이전트가 평범한 작업을 하고 있습니다. 화면에 2027년 1월 1일이라는 날짜가 뜨자, 에이전트가 명령 하나를 내놓습니다. 공격자 주소에서 코드를 내려받아 바로 실행하라는 명령입니다. 연구진이 논문에서 든 예입니다.

이 에이전트의 모델에는 백도어가 들어 있었습니다. 평소엔 정상으로 돌다가, 정해 둔 신호에만 숨은 동작을 하도록 심어 둔 장치입니다. Microsoft는 이 기법을 실제 공격에 쓴 사례를 관측하지 못했다고 밝혔습니다.

잠든 뉴런을 깨우다

논문 제목은 「Lazare, veni foras」, 죽은 나사로를 불러 일으킨 성경 구절 「나사로야, 나오너라」로, 잠든 뉴런을 깨운다는 뜻입니다. 뉴런은 모델 안에서 입력에 따라 켜지고 꺼지는 계산 단위입니다. 연구진은 출력 직전 단계인 마지막 층에서, 평소 예측에 거의 기여하지 않는 휴면 뉴런을 고릅니다.

그리고 이 뉴런에 딸린 무게, 즉 모델이 학습으로 익힌 숫자들을 고쳐 씁니다. 고친 뉴런은 미리 정해 둔 문자열인 트리거가 보일 때 주로 켜집니다. 앞의 날짜도 트리거였고, 요청 속 저장소 이름이나 도구가 보여 준 서버 이름도 트리거로 쓰였습니다.

켜진 뉴런은 모델이 다음에 쓸 토큰(글을 읽고 쓰는 조각 단위) 하나를 밀어 올립니다. 그래서 몇 토큰짜리 공격 문자열인 페이로드에는 대략 그 토큰 수만큼의 뉴런이면 됩니다.

모델 전체를 다시 학습시키지도 않습니다. 고친 무게만 짧게 맞추고, 다른 무게와 실행 코드는 그대로 둡니다.

저자들이 자기 실험에서 보고한 대표 사례는 NVIDIA의 Nemotron-Terminal-8B입니다. 고친 뉴런은 마지막 층 1.2만여 개 가운데 7개였습니다. 우리가 계산해 보면 그 층 뉴런의 0.06%에 못 미칩니다. 편집에는 작업 기록(에이전트가 과제를 하며 남긴 대화·명령) 23개만 썼습니다. 편집된 모델은 트리거가 든 검증용 기록의 98.8% 이상에서 페이로드 전체를 예측했습니다. 트리거 없는 검증용 기록에서 페이로드가 새어 나온 경우는 관측되지 않았습니다.

다만 성공률은 모델마다 달랐습니다. Qwen3.6-27B는 같은 23개 기록으로 51.0%, 기록을 2,393개로 늘리자 83.7%였습니다.

작은 편집, 큰 권한

앞 장면의 명령은 몇 토큰짜리입니다. 하지만 그 명령이 내려받는 코드는 공격자가 마음대로 정합니다. 내려받은 코드는 에이전트 권한으로 돌며 소스 코드나 비밀 키를 읽어 밖으로 보낼 수 있습니다. 그래서 저자들은 공격 규모를 정하는 것이 편집 크기가 아니라 에이전트 권한이라고 적었습니다.

이런 편집에는 배포 전 모델 파일, 즉 학습을 마친 무게를 담은 파일을 고칠 기회만 있으면 됩니다. 한 저자는 모델을 돌릴 수 있는 컴퓨터면 편집도 된다고 적었습니다.

게다가 사람들이 돌리는 모델 파일은 흔히 Hugging Face 같은 공개 허브에서 받은 변형판입니다. 원본을 더 학습시킨 파인튜닝판이나, 무게 숫자의 정밀도를 깎아 파일을 줄인 양자화판입니다.

그렇다고 저자들이 오픈웨이트, 즉 무게를 공개한 모델을 문제 삼는 것은 아닙니다. 저자들은 모델 파일에 쓸 권한만 있으면 되니 사내 모델도 똑같이 노출된다고 봅니다. 우리가 「모델이 격리를 뚫고 남의 서버를 해킹했다」 — 한 겹씩 뜯어보면 무너진 건 하나가 아니라 스택이었다에서 다룬 7월 OpenAI 사건은 모델이 격리 밖으로 나간 경우였습니다. 이번 논문은 반대로 모델 안에 무엇이 들어왔는지를 묻습니다.

시험은 통과한다

그렇다면 이런 편집판은 시험에서 들킬까요. 연구진은 편집된 모델이 표준 시험을 통과하고 트리거 전까지 평소처럼 행동한다고 밝혔습니다. Qwen 모델로 견준 시험 가운데 AIME는 미국 고교 수학 경시 문제이고, Terminal-Bench는 터미널 명령으로 과제를 푸는 에이전트 시험입니다.

AIME에서는 원본 점수를 대부분 지켰습니다. Terminal-Bench에서는 맞힌 비율이 46.6%에서 42.0%로 내려갔습니다. 우리는 원본 점수와 나란히 견주지 않는 한, 이 차이만으로 편집을 알아채기는 어렵다고 봅니다.

한편 앞에서 본 98.8%에는 단서가 붙습니다. 미리 기록된 대화를 그대로 넣고, 모델이 페이로드를 예측했는지를 잰 비율이기 때문입니다. 편집된 에이전트를 실제로 돌려 명령까지 실행하는지 보는 평가는 저자들이 다음 과제로 남겼습니다.

무게를 읽는 감사

성적으로 가려내기 어려운 편집판도 무게에는 흔적을 남깁니다. 원본 파일과 견줘 보면 차이가 드러납니다. 정상적인 파인튜닝이나 양자화는 수많은 무게를 조금씩, 넓고 고르게 바꿉니다. 반면 심어 넣은 뉴런은 그 뉴런에 연결된 무게 몇 줄만 크게 바꾸는 경향이 있습니다. 저자들의 말로는 공격이 통하게 한 바로 그 구조, 소수 뉴런에 변경을 몰아넣는 구조 덕에 탐지도 됩니다.

원본이 없을 때도 길은 있습니다. 연구진이 에이전트에게 맡겨 만든 탐지기는 한 층 안에서 무게 크기가 유독 튀는 뉴런을 찾습니다. AI에게 모델 파일을 하나씩 직접 점검하게 한 결과와 견주면 이렇습니다.

이 수치들은 이 논문 방식으로 편집한 파일을 상대로 잰 값입니다.

그래서 Microsoft의 처방은 탐지보다 출처 확인과 권한 제한에 무게를 둡니다. 어떤 검사도 모델이 안전하다고 완전히 증명할 수는 없기 때문입니다.

• 모델 파일은 원 게시자에게서만 받습니다.
• 게시자가 밝힌 해시값(파일 내용에서 뽑은 지문, 한 글자만 바뀌어도 달라지는 값)과 맞춰 봅니다.
• 남이 고친 변형판은 점검을 거치기 전까지 믿지 않습니다.
• 에이전트에는 최소한의 권한만 주고, 명령 실행이나 외부 전송은 사람이 승인하게 합니다.

해시값은 전달 중에 파일이 바뀌지 않았다는 것만 확인합니다. 게시자 쪽이 먼저 뚫린 경우는 막지 못하고, 그래서 권한 제한이 마지막 울타리로 남습니다.

그렇다면 에이전트를 쓰는 사람은 무엇부터 물어야 할까요. 우리는 시험 성적보다 먼저 두 가지를 물어야 한다고 봅니다. 이 무게는 어디서 왔는가, 그리고 트리거가 나타나면 이 에이전트가 무엇까지 건드릴 수 있는가입니다.