[기획: AI 트렌드] Anthropic의 무료 보안 스캐너, 신청한 프로젝트엔 보고서가 사람 검토 없이 간다

오픈소스와 핵심 인프라로 시작한 Cyber Mission

AI 기업 Anthropic은 10월 8일 사이버 방어 장기 프로그램 Cyber Mission을 발표했습니다. 방어하는 사람들에게 도구와 연구, 자원을 대는 프로그램으로, 전력망·수도·교통망을 돌리는 핵심 인프라와 오픈소스 소프트웨어 두 영역에서 시작합니다.

오픈소스는 코드를 공개해 누구나 가져다 쓸 수 있게 한 소프트웨어입니다. 이 영역에서 Anthropic이 내건 일은 취약점을 찾고 패치를 제안하는 것입니다.

취약점은 공격자가 악용할 수 있는 소프트웨어의 결함이고, 패치는 그 결함을 고치는 수정 코드입니다. 집에 빗대면 취약점은 잠기지 않는 창문입니다. 그 창문을 찾는 일과 잠금장치를 다는 일은 서로 다른 일입니다.

오픈소스 영역의 도구는 OSS Scanner입니다. 신청한 프로젝트를 Anthropic의 가장 성능 높은 모델로 정기적으로 스캔하며, 비용은 받지 않습니다. 스캔은 코드를 검사해 결함을 찾는 일입니다. 이 서비스는 Google의 오픈소스 자동 검사 서비스 OSS-Fuzz에서 착안한 신청제 서비스입니다.

인프라 영역은 Accenture·CrowdStrike·Palo Alto Networks 등 11곳을 창립 파트너로 둔 핵심 인프라 방어 프로그램(CIDP)으로 시작했습니다.

「사람 검토 없이 보낸다」는 한 문장

OSS Scanner의 보고서에는 버그를 어떻게 악용할 수 있는지 보여 주는 개념 증명(PoC)과 설명이 담기고, 가능한 경우 수정안도 붙습니다. 개념 증명은 결함이 실제로 있고 건드릴 수 있음을 재현해 보이는 최소한의 시연으로, 완성된 공격 도구와는 다릅니다. 수정안은 받는 사람이 결함을 고치는 수고를 덜어 줍니다.

Anthropic은 이 보고서를 모델이 만들고 사람의 검토 없이 보낸다고 공지에 적었습니다. 그만큼 빨리 전달되지만 일부는 부정확할 수 있다는 단서도 달았습니다. 예로 든 것은 심각도, 즉 결함이 얼마나 위험한지 매긴 등급을 잘못 적는 경우입니다.

보고서는 프로젝트의 유지보수자에게 갑니다. 유지보수자는 그 코드를 관리하고 결함을 고치는 개발자입니다. 보내기 전에 사람이 확인하는 단계가 빠졌으니, 보고가 진짜인지 가려내는 검증은 유지보수자가 처음 맡습니다.

Anthropic은 OSS Scanner의 정탐률이 90%를 넘을 것으로 기대한다고 밝혔습니다. 정탐률은 보낸 보고 가운데 진짜 취약점인 보고의 비율입니다. 놓친 취약점이 얼마인지는 이 수치에 담기지 않습니다. 기대대로라면 진짜가 아닌 보고, 이른바 오탐은 10건 중 1건이 안 됩니다. 이 수치는 잰 결과가 아니라 기대치이며, Anthropic은 정탐률과 수정안의 품질을 높여 가겠다고 했습니다.

찾는 일보다 고치는 일이 느리다

같은 공지에서 Anthropic은 공격과 방어의 사정을 이렇게 진단했습니다. 취약점을 악용하는 비용은 내려갔지만, 취약점을 검증하고 공개하고 고치는 일은 느리고 여전히 사람에게 달려 있다는 것입니다.

앞선 취약점 탐색 사업 Project Glasswing에 대한 평가도 같은 방향입니다. Glasswing은 널리 쓰이는 오픈소스 수백 개를 스캔했고, 파트너들이 많은 취약점을 찾았습니다. 그런데도 Anthropic은 사이버 위험을 아직 충분히 줄이지 못했다고 적었습니다. 발견에서 수정까지 몇 달이 지나는 경우가 많았다는 것입니다.

병목은 전체 진행 속도를 묶는 가장 느린 단계입니다. Anthropic의 진단과 평가를 이으면 병목은 찾는 단계가 아니라 검증하고 고치는 단계에 있습니다. 잠기지 않는 창문은 많이 찾았는데, 잠금장치를 다는 일이 따라가지 못한 셈입니다.

이렇게 보면 사람 검토 없는 발송은 보내기 전 검토를 빼서 속도를 얻고, 보고가 진짜인지 가리는 검증을 유지보수자에게 넘기는 선택입니다. 개념 증명이 붙어 있어 진위는 재현해 보면 빨리 가려집니다. 다만 정탐률이 기대만큼 높아도 어느 보고가 틀렸는지는 미리 알 수 없으니 받은 보고마다 재현해야 하고, 심각도가 틀리면 무엇부터 고칠지도 흔들립니다. 수정안이 붙어도 그것을 검토해 받아들이는 일은 유지보수자에게 남습니다.

Anthropic도 대상을 좁혀 두었습니다. 검토 없이 보내는 보고는 「드러난 발견을 따라잡을 여력이 있는 프로젝트」를 위한 것이라고 적었습니다. 받는 프로젝트의 여력을 조건으로 둔 것은, 검증 부담이 받는 쪽으로 간다는 점을 공지 스스로 조건으로 적어 둔 셈입니다.

그 밖의 프로젝트에는 조율된 취약점 공개(CVD) 정책에 따라 사람이 검증한 보고를 계속 보냅니다. 조율된 취약점 공개는 발견한 사람이 유지보수자에게 먼저 비공개로 알리고, 고칠 시간을 준 뒤에 공개하는 관행입니다.

보고를 받는 프로젝트의 처리 부담은 공지 밖에서도 보입니다. 한 매체의 보도에 따르면 Anthropic·Google·Microsoft·OpenAI 등 기업들이 AI가 만든 버그 보고서의 처리를 돕는 공동 기금을 약정했습니다. 같은 보도에는 일부 프로젝트가 한 번에 수백 건의 보고를 받았다는 서술도 있습니다.

우리는 OpenAI가 내놓은 수학 원고 722편, 형식화 파일에는 「unchecked」라고 적혀 있었다에서 OpenAI가 내놓은 AI 수학 원고를 다루며, 막혀 있는 단계가 증명을 만드는 일보다 검사하는 일이라고 봤습니다. 보안 취약점에서는 같은 판단을 Anthropic이 자기 공지에 직접 적었습니다.

운영사 대신 공급사를 거치는 인프라 프로그램

Anthropic은 공지에서 운영기술(OT) 설비가 패치하기 어려운 이유를 따로 적었습니다. 운영기술은 발전소·정수장·신호 체계 같은 물리 설비를 직접 움직이는 제어 시스템으로, 공지가 핵심 인프라로 든 전력망·수도·교통망이 이 위에서 돌아갑니다.

이런 설비는 패치를 하려고 멈추고 오프라인으로 내릴 수 없는 경우가 많아, 이미 알려진 취약점도 수년 동안 남을 수 있습니다. 장비는 독점 규격이고 변경 자체가 위험해서 실수 하나가 공장을 멈출 수 있습니다. 수정은 가동 중인 설비에 안전하게 적용할 수 있을 때까지 기다려야 할 수 있어서, 드물게는 수십 년이 걸릴 수 있다고도 적었습니다.

CIDP는 설비 운영사가 아니라 보안 공급사를 거칩니다. 가장 앞선 Claude 모델과 현장 엔지니어, 위협 연구를 신뢰할 수 있는 공급사에 제공하는 방식입니다. 참여 대상은 핵심 인프라용 보안 제품과 서비스를 만드는 기업입니다. Anthropic은 보안 업체와 시스템 통합사(여러 장비를 엮어 현장 시스템을 꾸리는 회사), 장비 제조사를 예로 들었습니다. 처음에는 소수의 공급사로 시작해 효과적이고 실용적인 방법부터 배우겠다고 했습니다.

공급사를 거치는 이유도 공지에 있습니다. 운영사는 규모와 상관없이 소수의 신뢰 공급사에 기대어, 무엇이 노출됐는지와 가동 중인 시스템에 어떤 수정을 해도 되는지 안내받는다는 것입니다. 우리는 이것을 수정 판단이 실제로 내려지는 지점에 모델을 놓는 설계로 읽습니다. 인프라 영역의 병목은 사람 수보다, 멈출 수 없는 설비에 수정을 언제 어떻게 안전하게 넣을지에 있기 때문입니다.

성공의 기준에 발견 건수는 없다

Anthropic은 2년 뒤에는 AI가 방어하는 쪽에 유리해질 것으로 예측했고, 그 첫 경로로 출시 전에 버그를 잡기 쉬워지는 것을 들었습니다. 가까운 시기에는 그렇지 않을 수 있다고도 적었습니다. 공지에 적힌 성공은 수도·전력·교통·통신 같은 핵심 인프라가 계속 돌아가고, 뚫고 들어올 경로가 줄고, 뚫렸을 때 더 빨리 복구하는 것입니다. 여기에 수년이 걸린다고도 했습니다. 이 기준에 발견 건수는 들어 있지 않습니다.

이 프로그램에서 확인할 것은 이렇습니다.

• 실측 정탐률. 기대치가 아니라 실제로 잰 정탐률이 공개되는지 봅니다.
• 보고에서 수정까지. OSS Scanner의 보고가 패치로 이어진 비율과 걸린 시간이 나오는지 봅니다. Glasswing에서는 발견에서 수정까지 몇 달이 지나는 경우가 많았습니다.
• 보고를 받는 프로젝트. 어떤 프로젝트를 「따라잡을 여력이 있는 프로젝트」로 보는지, 그 기준이 공개되는지 봅니다.

공지에 적힌 문장을 이어 읽은 우리 해석으로는, 두 설계 모두 모델이 찾는 능력보다 찾은 것을 검증하고 적용하는 단계에 맞춰져 있습니다. 오픈소스 영역은 보내기 전 검토를 빼는 대신 따라잡을 여력이 있는 프로젝트로 대상을 좁혔고, 인프라 영역은 가동 중인 시스템의 수정을 안내하는 공급사를 거칩니다. 그래서 우리는 지금 AI 보안의 병목이 찾기가 아니라 검증하고 고쳐 넣는 단계에 있다고 봅니다(Anthropic 자신의 진단과 Glasswing 한 사례에 기댄 판단입니다). 그 병목이 오픈소스에서는 유지보수자의 시간이고, 인프라에서는 설비에 수정을 안전하게 넣을 수 있는 시점입니다. Anthropic이 그리는 2년 뒤의 방어 우위가 출시 전 발견에서 시작한다는 점도 이 판단과 맞습니다. 찾는 시점을 앞당기면 고치는 비용이 줄어든다는 뜻이니, 찾기의 가치도 고치기 쪽에서 매겨지는 셈입니다.