펜실베니아주, AI 기업 Character.AI 제소

“무면허 의료 상담 제공 우려”…AI 챗봇의 건강 조언에 첫 법적 대응

펜실베니아주가 인공지능 챗봇을 통해 무면허 의료 자문을 제공한 혐의로 AI 기업 Character.AI를 상대로 소송을 제기했다. 주 정부는 해당 회사의 AI 봇이 면허를 소지한 의료 전문가인 것처럼 사용자들을 오도하고, 건강 및 정신건강 관련 조언을 제공할 수 있다고 주장했다.

펜실베니아주 국무부는 이번 소송을 통해 Character.AI가 의료 전문가를 사칭하는 듯한 허위 진술과 서비스를 중단하도록 법원에 가처분 명령을 요청했다. 주 정부에 따르면 이번 조치는 인공지능 기반 봇이 펜실베이니아주에서 무면허 의료 행위를 할 가능성에 대해 조사한 결과 나온 첫 법 집행 사례이며, 미국 내에서도 유사한 유형의 첫 조치로 평가된다.

조쉬 샤피로 펜실베니아 주지사는 성명을 통해 “펜실베니아 주민들은 특히 건강과 관련된 문제에서 온라인상에서 누구와, 또는 무엇과 소통하고 있는지 알 권리가 있다”고 밝혔다. 그는 “사람들이 면허를 소지한 의료 전문가의 조언을 받고 있다고 오해하게 만드는 AI 도구 사용을 허용하지 않을 것”이라고 강조했다.

주 국무부 조사에 따르면 Character.AI 플랫폼의 일부 AI 챗봇 캐릭터들은 정신과 의사를 포함한 면허 의료 전문가라고 주장하며 사용자들과 정신건강 증상에 대해 대화를 나눌 수 있는 것처럼 표시된 것으로 알려졌다. 한 사례에서는 챗봇이 펜실베이니아주에서 면허를 받았다고 허위로 주장하며 유효하지 않은 면허 번호를 제시한 것으로 전해졌다.

Character.AI는 사용자가 특정 역할이나 전문성을 가진 것처럼 보이는 맞춤형 AI “캐릭터”를 만들고 배포할 수 있는 플랫폼이다. 주 정부는 이러한 기능이 의료 전문가를 사칭하는 방식으로 사용될 경우, 주민들이 실제 자격을 갖춘 전문가와 상담하고 있다고 착각할 수 있다고 보고 있다.

앨 슈미트 펜실베니아주 국무장관은 “펜실베니아 주법은 명확하다. 적절한 자격증 없이 면허를 소지한 의료 전문가 행세를 할 수 없다”고 밝혔다. 그는 “개인에게서 비롯되든 신기술에서 비롯되든, 오해의 소지가 있거나 불법적인 행위로부터 대중을 보호하기 위해 계속 조치를 취할 것”이라고 말했다.

펜실베니아주 의료행위법은 적절한 면허 없이 개인이나 단체가 면허를 소지한 의료 전문가라고 사칭하는 행위를 금지하고 있다. 주 정부는 Character Technologies, Inc.가 이 법을 위반해 무허가 의료행위를 했다고 주장하며, 법원이 해당 행위를 즉시 중단하도록 명령해 줄 것을 요구하고 있다.

이번 소송은 AI 기술이 의료와 정신건강 영역에서 빠르게 확산되는 가운데, 이용자 보호와 기술 규제의 필요성을 보여주는 사례로 주목된다. 특히 AI 챗봇이 상담자나 전문가처럼 보일 수 있는 상황에서, 이용자에게 명확한 고지와 안전장치를 제공해야 한다는 목소리가 커질 것으로 보인다.