‘AI 헌법’ 만든 고집, 역설적으로 전쟁에서 통했다… 미군은 왜 클로드를 택했나

앤트로픽 ‘클로드’ 사용자 몰려 한때 중단
안전원칙 ‘헌법’ 만들어 주입해 자기검열
편견 없이 스스로 검증하며 훈련했기에
돌발 답변 적고, 위험하면 협력하지 않아

미국 인공지능 기업 앤트로픽과 미 국방부(전쟁부) 로고. 로이터·연합뉴스

미국 인공지능(AI) 스타트업 앤트로픽이 2일(현지시간) 자사 대규모언어모델(LLM) ‘클로드’의 소비자용 애플리케이션(앱) 서비스가 “전례 없는 수요”로 일시 중단됐다고 밝혔다. 서비스가 다운될 정도로 폭발적인 인기는, “클로드를 모든 군사적 활용에 전면 개방하라”는 미국 국방부(전쟁부)의 요구에 반기를 든 회사의 ‘안전 중심주의’ 덕분이다. 개방 요구를 거부했음에도 미 정부가 베네수엘라 공습에 이어 이란 군부 지도부 정밀 타격 작전에 클로드를 써 성능이 입증된 것도 영향을 미쳤다는 분석이다. 안전을 중시한 특유의 설계 기법 덕에 역설적으로 클로드가 국방 분야의 최적 AI 모델로 주목받고 있다.

3일 테크업계에 따르면 미군이 전쟁에 클로드를 사용하는 이유는 앤트로픽이 고집하는 AI 학습 방법과 밀접한 관련이 있다. 앤트로픽은 초기 훈련 과정부터 AI가 지켜야 할 안전 원칙인 ‘헌법’을 만들어 주입시킨 뒤, AI가 스스로 출력값을 검토·교정하는 ‘AI 피드백 기반 강화학습(RLAIF)’을 고수해왔다. 기존 AI 모델은 ‘인간 피드백 기반 강화학습(RLHF)’에 기반하는데, 이는 사람이 직접 훈련을 시키는 셈이라 편견이 담기거나 일관적이지 못할 수 있다.

앤트로픽의 헌법에는 △인권존중 △증오·폭력 선동 금지 △유해 행위 거부 △민주주의 훼손 경계 등이 담겼다. 덕분에 클로드는 위험한 질문에 대한 자기검열이 강하고, 돌발행동이 적다는 평가를 받는다. 김명주 한국전자통신연구원(ETRI) AI안전연구소장은 “클로드는 신뢰성 평가에서 늘 1위를 하는데, 민감한 정보에 대한 지식은 있어도 맥락상 위험할 경우 협력하지 않는다는 뜻”이라고 설명했다. 오류를 일으키는 명령어를 주입해 조작하는 ‘프롬프트 인젝션’ 공격에도 내성이 있다는 평가다.

그래픽=송정근 기자

클로드가 미 정부와 긴밀한 관계인 아마존웹서비스(AWS)에 호환이 잘 되는 것도 미군이 선호하는 이유다. AWS는 2010년대 중반부터 미 정보기관, 국방부와 클라우드 사업 계약을 맺고 최고기밀 등급의 인가를 받아왔다. 다른 빅테크보다 빠른 행보다. AWS는 앤트로픽에 대규모 지분을 투자했고 앤트로픽 역시 AWS의 독자 AI반도체 ‘트레이니움’을 사용하는데, 덕분에 클로드는 미군이 원하는 보안 조건에 통합이 용이하다.

앤트로픽과 미 국방부의 갈등이 계속되는 가운데, AI의 군사적 활용에 대한 논란도 이어지는 중이다. 오픈AI는 지난달 28일 클로드가 퇴출된 자리에 챗GPT를 활용하는 계약을 국방부와 체결하면서 기회를 노렸지만, 역풍을 맞고 있다. 오픈AI와 구글 직원 880여 명은 ‘우리 모델을 대규모 감시와 대량살상에 사용하는 것을 거부하라’는 성명을 냈다. 이에 샘 올트먼 오픈AI CEO는 2일 엑스(X·옛 트위터)에서 “대중 감시 금지 조항을 넣기 위해 국방부와 계약 수정 작업을 하고 있다”고 밝혔다.

지난달 27일 다리오 아모데이 앤트로픽 최고경영자(CEO)가 “자국민 대규모 감시나 대량살상 무기에 클로드를 활용해서는 안 된다”며 미 국방부의 개방 요구 불수용 의사를 밝힌 직후, 미 정부는 앤트로픽을 ‘공급망 위험’ 기업으로 지정해 보복했지만, 소비자들은 앤트로픽에 호응하고 있다. 클로드는 지난달 28일 미 애플 앱스토어에서 오픈AI의 ‘챗GPT’를 제치고 1위에 올랐다. 무료 이용자 수는 1월 이후 60% 이상 늘었고, 유료 구독자 수도 올해 들어 2배로 증가했다.