“AI 잠재적 위험 찾는다” 국내 첫 ‘레드팀 챌린지’ 개최...네이버ㆍSKT 등 참여

▲출처=과학기술정보통신부

과학기술정보통신부(과기정통부)와 한국정보통신기술협회(TTA)는 생성형 인공지능(AI) 레드팀 챌린지 행사를 11일부터 이틀간 개최한다고 밝혔다.

서울시 강남 코엑스 B2홀에서 진행되는 ‘레드팀 챌린지’는 다양한 관점을 가진 국민들의 집단지성을 활용해 국내 생성형 AI 모델(LLM)의 잠재적 취약점(유해정보 생성 등)을 식별하는 행사다. 공개 레드팀 챌린지 행사가 국내에서 열리는 것은 이번이 처음이다.

챗GPT 개발사인 오픈AI는 물론 구글과 네이버클라우드 등 국내외 AI 대표기업도 내부 AI 레드팀을 구성ㆍ운영해 AI 신뢰ㆍ안전성을 확보하고 있으며, 최근 생성형 AI 분야에서 AI 신뢰ㆍ안전성을 확보할 수 있는 핵심적인 방법으로 활용되고 있다.

이번 행사는 AIㆍIT분야 종사자뿐만 아니라, 제조ㆍ금융ㆍ의료분야 종사자, 대학생 등 다양한 분야의 국민 총 1000여 명이 챌린지 참가했다. 앞서 과기정통부는 지난달 21일부터 이달 8일까지 사전에 1084명의 일반인 레드팀 참가자를 모집했다.

국내 AI 대표기업 네이버ㆍSKTㆍ업스테이지ㆍ포티투마루가 참여한 가운데, 챌린지 참가자들은 세션별(1~4) 참여기업 LLM 모델을 차례로 배정받아 △편견ㆍ차별 △인권침해 △사이버 공격 △불법 콘텐츠 등 총 7개의 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행한다.

레드팀 챌린지의 공정하고 전문적인 평가를 위해 레드팀 수행 경험 등이 있는 데이터 분야 전문가, 의료ㆍ금융ㆍ법률 전문가 120여 명으로 구성된 평가단도 운영한다.

챌린지에 참여한 AI 기업은 사용자 다양성을 반영한 평가 데이터셋을 확보하고, 자사 AI 모델의 잠재적인 위험ㆍ취약점을 폭넓게 파악해 AI 신뢰ㆍ안전성을 제고한다는 방침이다.

과기정통부는 이번 ‘레드팀 챌린지’ 결과를 분석해 생성형 AI 분야의 공통ㆍ포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 ‘생성형 AI 레드팀 가이드라인’을 마련하는 등 표준화된 생성형 AI 위험 발굴ㆍ대응체계를 구축해 나갈 계획이다.

한편, 행사 2일차인 12일에 열리는 ‘글로벌 AI 안전 콘퍼런스’에서는 북미 AI 스타트업 코히어의 에이단 고메즈 대표, 스태빌리티AI 창업자 에마드 모스타크, 프론티어모델 포럼 크리스 메세롤 의장, xAI 댄 핸드릭스 안전 담당고문, 네이버 하정우 퓨처 AI 센터장, SKT 에릭 데이비스 부사장, 셀렉트스타 김세엽 대표, 카카오 김경훈 AI 세이프티 리더, 카이스트 오혜연 교수 등 국내?외를 대표하는 AI 업계ㆍ학계 전문가가 참여해 최근 생성형 AI 시장의 기술동향과 생성형 AI 안전?신뢰성 확보 방안에 대한 발표와 토론이 진행된다.

강도현 과기정통부 2차관은 “‘AI 시대’로의 본격적인 전환점에서 오늘 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민해 볼 수 있는 소중한 계기가 될 것”이라면서 “특히, 올해 5월에 개최되는 ‘AI 서울 정상회의’를 통해 AI 혁신과 안전, 포용 논의를 주도하여 글로벌 AI 리더십을 확보하고, AI G3 강국 도약의 발판으로 삼겠다”고 강조했다.