Google Gemma 4 출시와 온디바이스 AI 보안의 새로운 위협

대체로 긍정적이며, 온디바이스 AI의 확산에 따른 보안 문제의 시급성에 공감하는 반응이 많다.

• 온디바이스 앱 배포 시 모델 가중치 파일에 대한 체크섬(Checksum) 확인 등 무결성 검증 로직을 반드시 포함해야 한다.
• 모델 추출 및 역공학을 방지하기 위해 모델 가중치 암호화나 난독화 기술 적용을 검토해야 한다.

온디바이스 AI(On-Device AI)

— 클라우드 서버를 거치지 않고 스마트폰이나 IoT 기기 등 사용자 단말기 내부에서 직접 AI 모델을 실행하는 기술이다. 낮은 지연 시간과 오프라인 작동, 데이터 프라이버시 보호가 핵심 장점이지만 모델 데이터가 기기에 저장되므로 물리적·논리적 공격에 노출될 위험이 크다.

적대적 공격(Adversarial Attack)

— AI 모델이 잘못된 판단을 내리도록 의도적으로 설계된 입력값이나 조작을 가하는 공격 기법이다. 온디바이스 환경에서는 공격자가 모델 파일 자체에 접근할 수 있어 입력 데이터 조작뿐만 아니라 모델의 내부 구조나 가중치를 직접 변조하는 더 강력한 공격이 가능하다.

가중치 공격(Weight Attack)

— 딥러닝 모델의 핵심 파라미터인 가중치(Weight) 데이터를 직접 수정하여 모델의 출력을 악의적으로 조작하는 방식이다. 특정 조건에서만 오작동하게 만드는 백도어를 심거나 모델의 전반적인 정확도를 떨어뜨리는 등 기기 내 로컬 파일을 변조할 수 있는 환경에서 치명적인 위협이 된다.

지식 재산권 보호(IP Protection)

— 모델의 고유한 아키텍처와 학습된 가중치가 역공학(Reverse Engineering)을 통해 유출되거나 무단 복제되지 않도록 방어하는 기술이다. 온디바이스 배포 시 모델이 공격자의 손에 직접 쥐어지는 것과 같으므로 암호화나 난독화 등 배포 후 보호 메커니즘이 필수적이다.