행동하는 AI, 이용자 안전장치 논의

방미통위·정보통신정책연구원, 에이전트 위험과 사업자 책임 살펴

방송미디어통신위원회와 정보통신정책연구원이 12일 서울 명동 포스트타워에서 인공지능(AI) 에이전트의 이용자 보호 방안을 논의했다. 이날 오후 2시 55분부터 진행된 발제에서는 AI가 이용자 대신 일을 처리할 때 생길 수 있는 위험과 이를 줄이는 안전기술을 다뤘다.

AI 에이전트는 이용자가 목표를 정하면 필요한 단계를 스스로 계획하고 실행하는 시스템이다. 서비스가 답변을 내놓는 데서 실제 작업을 수행하는 단계로 넓어지면서, 이용자 보호도 답변의 정확성뿐 아니라 AI가 취하는 행동까지 살펴야 한다는 것이 이번 논의의 출발점이다.

박태웅 국가인공지능전략위원회 공공AX분과장은 기조발제에서 기술 변화에 따라 이용자 보호 체계가 어떻게 달라졌는지 짚었다. AI가 작업을 맡아 처리하는 서비스가 늘면서 새로 생기는 이용자 위험도 발표 주제에 포함됐다.

이상근 고려대 인공지능보안연구소장은 이어 에이전트가 스스로 행동하는 과정에서 나타날 수 있는 위험을 살피고, 서비스 설계 단계에서 안전성을 높이는 기술 동향을 소개했다.

오후 3시 20분부터는 정보통신정책연구원의 조성은 박사가 AI 에이전트 이용자의 권익을 보호하기 위해 서비스 사업자가 맡아야 할 역할과 정책 과제를 다루는 순서가 잡혔다. 오후 4시 전문가 토론에서는 정부와 기술·산업계, 이용자 간 협력 방안을 논의할 예정이다.

방미통위는 행사에서 나온 의견을 앞으로의 정책에 반영하겠다는 방침을 밝혔다. 이날 공개한 자료에 새 규제의 시행 시점이나 확정된 사업자 의무는 제시되지 않았다.

행사는 오후 5시까지 진행될 예정이다. 현장을 찾지 못한 이용자는 방미통위 공식 유튜브 채널에서 생중계를 볼 수 있다.