인공지능이 산업 전반에 영향을 미치며 기존 기술을 대체하거나 지능화되고 있다. 이러한 변화는 인공지능을 이용한 악의적인 공격과 개인정보 침해, 범죄의 지능화에도 영향을 주고 있다. 대표적으로 인공지능 발전의 핵심인 딥러닝 기술을 이용해 가짜를 만들어 내는 딥페이크(Deepfake) 기술이 있다.
딥페이크 기술을 활용한 예로는 성인비디오 출연 배우 얼굴을 연예인 등 유명인의 얼굴로 교체하거나 가짜 기사를 만들어 사회적인 혼란 조성, 특정 기업의 대표와 유사한 합성 음성을 만들어 공급사에 돈을 보내게 한 사례 등이 있다. 최근에는 구글 Vision AI가 체온계를 들고 있는 사람의 피부가 밝을 때는 체온계로 판단한 반면, 피부가 어두울 때는 총으로 인식해 논란이 된 적이 있다. 데이터를 통해 학습된 딥러닝 모델은 인간보다 뛰어난 결과들을 보여주고 있지만, 데이터 속 편견 또한 같이 학습해 편향된 결과를 내놓기도 한다. 마이크로소프트사에서 2016년 사람과 대화가 가능한 인공지능 챗봇 테이(Tay)를 개발해 공개했지만, 일부 사용자가 테이가 악의적 발언을 하도록 훈련시켰고 그 영향으로 테이가 욕설, 인종차별, 성차별 등을 하게 됨으로써 16시간 만에 운영이 중단된 바도 있다. 이렇게 의도적으로 악의적인 데이터를 학습시켜 영향을 주는 기법을 '중독 공격(Poisoning attack)'이라고 한다.
한편, 인공지능의 보안 위험이 발생하도록 모델에 내재된 취약점을 공격하는 '적대적 공격(Adversarial attack)'이라는 개념이 있다. 예를 들면 판다 이미지에 사람의 눈으로는 식별되지 않는 노이즈(Noise)를 추가해 긴팔원숭이로 인식하게 만드는 것이다. 적대적 공격 중 하나인 적대적 예제(Adversarial example)는 노이즈 데이터를 생성하고 학습시켜 모델이 잘못 인식하게 만든다. 적대적 스티커(Adversarial patch)는 바나나 옆에 특정 스티커를 붙여 토스터로 인식하게 만들거나, 도로 교통표지판에 스티커를 붙여 '정지' 표시를 '속도제한' 표시로 인식하게 만드는 것이다.
인공지능 보안 위협에는 모델이 잘못 인식하거나 오작동하게 만드는 공격뿐만 아니라, 수많은 질의를 통해 나온 모델의 결과를 분석해 모델 학습에 사용된 데이터를 추출하는 '전도 공격(Inversion attack)'이 있고, 질의 결과 분석을 통해 기존 모델과 유사한 모델을 만들도록 하는 '모델 추출 공격(Model extraction attack)'도 있다. 이러한 공격으로 학습 데이터에 기밀정보나 개인정보, 민감정보 등이 포함된 경우 데이터 유출 위험이 발생하고, 기업이 생성한 모델 자체가 추출된 경우 기업 자산 노출로 피해를 입게 된다. 산업 전반에 인공지능 기술이 적용되고 있는 만큼 인공지능이 가지는 취약점과 보안 위협을 염두에 둬야 한다. 인공지능 기술을 발전시키고 활용하는 것과 더불어 학습 데이터가 오염되지 않도록 관리하고, 취약점이 보완된 견고한 모델을 만들도록 해야만 인간의 삶을 이롭고 윤택하게 해줄 안전한 인공지능 세상이 가능할 것이다.
