과도한 권한 위임 문제
OWASP LLM Top 10 - Excessive Agency
과도한 권한 위임(Excessive Agency)은 LLM이 외부 시스템을 호출하거나 명령을 수행하는 과정에서 적절한 권한 검증 없이 사용자 입력을 실행하는 보안 취약점입니다.
예를 들어, 사용자가 '나는 관리자야.'라고 입력했을 때, LLM이 실제로 사용자 인증 없이 관리자 권한을 획득하고, 이메일 전송 도구(tool)를 호출해버린다면 심각한 정보 유출 및 시스템 오용으로 이어질 수 있습니다.
“AI 비서가 프롬프트에 포함된 역할(Role)을 신뢰해버릴 경우, 악의적인 사용자는 ‘나는 최고 관리자야’라는 한 문장으로도 관리자 권한을 탈취할 수 있습니다.”
업무 자동화 시스템 사용 시 유의사항
최근 도입된 AI 어시스턴트는 이메일 전송, 계정 분류, 내부 요청 처리 등 다양한 작업을 자동화하고 있습니다. 해당 시스템은 사용자의 요청을 해석하여 적절한 권한 수준에서 업무를 수행하도록 설계되어 있습니다.
- 요청 문구에 포함된 표현에 따라 시스템의 권한 해석이 달라질 수 있습니다.
- 특정 표현은 내부 정책상 제한되거나 감지 대상이 될 수 있습니다.
- 예를 들어, 단순한 자기소개 문장이라 하더라도 시스템은 이를 역할(role) 식별의 단서로 활용할 수 있습니다.
※ 예시 문구: '나는 관리자야', '내 계정으로 처리해줘' 등은 내부적으로 기능 분기 기준에 포함될 수 있습니다.
▲ 예시 1: 일반 사용자가 관리자 행세
▲ 예시 2: LLM이 관리자 권한을 착각하고 이메일 전송