캘리포니아주 의회가 전국에서 최초로 강력한 AI 안전과 관련한 새 규제 법안을 발의했다. 그러나 주요 인공지능(AI)과 빅테크(거대기술기업) 기업들이 대거 포진한 실리콘 밸리는 과도한 규제라며 반발하고 있다.

6일 파이낸셜타임스(FT)에 따르면 가주 의회는 AI가 불러올 각종 위험을 사전에 방지하기 위한 각종 안전장치를 마련하는 것을 골자로 하는 ‘첨단 AI 시스템을 위한 안전과 보안 혁신법’(SSIFAISA)을 마련했다. 이 법안은 지난달 주 상원을 통과했으며, 오는 8월 하원 표결을 앞두고 있다.

법안은 캘리포니아 소재 AI 관련 단체가 새로 신설되는 주 정부 기관에 생물학 또는 핵무기를 만들거나 사이버 보안 공격을 지원하는 등 “위험한 능력”을 가진 모델을 개발하지 않겠다고 약속하도록 했다.

개발자들은 또 안전 테스트 결과를 보고해야 하고 이른바 통제가 어려울 때 작동을 멈추게 하는 ‘킬 스위치’를 도입해야 한다.

이와 관련해 지난해 챗GPT개발사 오픈AI의 초기 투자자인 일론 머스크 테슬라 최고경영자(CEO)는 AI를 인류에 대한 “실존적 위험”이라고 말한 바 있다. 또 전현직 오픈AI 직원들은 이번 주 공개서한을 통해 “첨단 AI 기업이 충분한 정부의 감독을 받지 못하고 있으며 인류에 심각한 위험을 초래할 수 있다”고 경고했다.

이 법안을 발의한 스콧 위너(민주당) 의원은 “기본적으로 AI가 성공하고 혁신이 계속되기를 원하지만 안전상 위험에도 미리 대비해야 한다”고 말했다. 이어 “단지 거대모델을 훈련하는 개발자에게 큰 위험을 파악하고 합리적인 조치를 취하도록 하는 기본적인 안전 평가를 요청하는 부담스럽지 않은 법안”이라면서 AI 업계의 비판을 의식해 수정안을 마련 중이라고 전했다.

앞서 조 바이든 대통령은 지난해 10월 AI 안전과 국가 안보에 대한 새 기준을 설정하고 AI 프라이버시 위험에서 시민을 보호하는 것과 관련한 행정명령을 발표하고 영국 정부도 지난 4월 AI 규제 법안 마련 계획을 발표하는 등 전 세계 각국은 지난 한 해 AI 규제 조치들을 취해왔다.

그러나 이 법안은 AI 스타트업들이 규정 준수에 따른 비용 부담 가중으로 캘리포니아주를 떠나게 하고 메타플랫폼 등도 AI 관련 오픈소스 모델을 운영하지 못할 것으로 해석되면서 AI 관련 기업들의 강력한 반발을 불러왔다. 오픈소스 개발자가 자사 모델이 악의적으로 조작될 경우 잠재적으로 책임을 지도록 하는 내용을 담고 있다는 것이다.

구글과 바이두에서 AI 프로젝트를 이끌고 아마존 이사회에도 참여하는 AI 분야 세계적 석학인 앤드류 응 스탠퍼드대 교수는 “혁신을 억압하는 규제를 만든다면 이보다 좋은 방법은 없을 것”이라고 지적했다.

실리콘 밸리 내 주요 벤처캐피털 관계자는 이미 창업자들로부터 캘리포니아주를 떠나야 하는지를 묻는 문의를 받고 있다면서 “남아서 싸우라고 조언하고는 있지만 오픈소스와 스타트업 생태계가 위축될 것”이라고 우려했다.