영역 넓히는 AI 챗봇 서비스…‘환각 현상’ 부작용 낮출 ‘RAG’ 기술 눈길

(게티이미지뱅크)

고객 편의 향상과 서비스 고도화를 위해 금융과 법조, 공공기관 등 다양한 분야에서 초거대언어모델(LLM) 기반 인공지능(AI) 챗봇 솔루션 활용 사례가 늘고 있다. 문제는 LLM 사용 시 필연적으로 발생하고 있는 할루시네이션(환각) 현상이다. 이 현상은 구체적인 출처를 제공할 수 없고 때로는 지식을 거짓 생성하는 등의 문제를 뜻한다.

이와 관련해 가장 주목받는 해결 방안은 RAG(검색 증강 생성) 기술이다. RAG는 LLM이 답변을 생성하기 전에 외부 데이터베이스에서 질문과 관련된 정보를 검색하는 과정으로 할루시네이션 방지에 효과적인 것으로 평가된다. 이에 AI 챗봇 솔루션을 도입한 국내 다양한 산업군에서도 RAG를 통해 할루시네이션 현상을 줄이고 있다.

10일 업계에 따르면 KB국민카드는 수백 가지의 이벤트 정보를 고객에게 더 정확하게 전달하기 위해 AI 기업 스켈터랩스가 개발한 GPT 기반의 질의응답 챗봇 솔루션 ‘벨라 큐나’를 활용해 ‘이벤트 Q&AI’ 서비스를 출시했다. 벨라 큐나는 LLM 기반 기업 맞춤형 챗봇 솔루션으로, 객관성과 시의성에 한계가 있었던 LLM을 RAG로 보강해 더욱 정확하고 최신 데이터를 기반으로 답변을 생성한다.

KB국민카드의 이벤트 Q&AI 서비스는 벨라 큐나와 KB국민카드의 기업 이벤트 정보를 애플리케이션 프로그래밍 인터페이스(API)로 연동하는 방식으로 진행됐다. 해당 서비스는 RAG를 활용해 매일 변화하는 최신 이벤트 정보를 간편하게 업데이트하고, 이를 기반으로 답변을 생성한다. 이를 통해 정보의 최신성을 강화하고 할루시네이션 현상을 최소화한다.

리걸테크 기업인 로앤굿은 지난해 10월 열린 리걸 테크 AI 포럼에서 자연어 검색이 가능한 변호사용 AI 챗봇 시제품 ‘로앤봇’을 공개한 바 있다. 해당 프로토타입은 문장에서 의미와 문맥을 알아서 이해해 키워드 없이도 유사내용을 검색할 수 있다. 5년간 개인정보가 법률적으로 연결된 부분을 학습하는 식으로 구동할 수 있다. 로앤굿에 따르면 로앤봇은 개인정보 포털에 공개된 최근 5년간 총 4360페이지에 달하는 결정문·심결례·가이드라인·판례집 등을 학습했으며, RAG를 활용해 국내법에 특화된 챗봇으로 구현했다.

로톡 운영사인 로앤컴퍼니도 ‘빅케이스GPT’를 공개했다. GPT 기반의 빅케이스GPT는 국내 판례 약 329만 건 분량의 자체적인 빅케이스 데이터를 활용한 RAG 모델을 적용했다. 로앤컴퍼니는 로톡 서비스에 변호사 상담 전 작성하는 상담 글을 요약정리하고 변호사에게 예상되는 법률 분야를 제안하고 분류해주는 ‘AI 스캔’ 기능을 추가했다. AI 통합 법률정보 서비스 빅케이스에도 판결문 내 ‘AI 요점 보기’, ‘AI 유사판례’, ‘쟁점별 판례 보기’ 등 AI를 이용한 서비스로 활용도를 높였다.

이밖에 통계청은 RAG가 적용된 AI 기반 통계 챗봇 서비스를 선보일 예정으로 알려졌다. 올해 하반기 대국민 서비스를 목표로 주요 통계에 대해 통계 추천과 전문적 질의응답이 가능한 초거대 AI 기반 통계 챗봇 서비스를 구축한다. 그동안 국가통계포털(KOSIS)에 챗봇 서비스가 제공되고 있으나, 정확한 통계용어를 사용하지 않는 경우 제대로 된 답변을 받기 어려웠다. 초거대 AI 기반 통계 챗봇 서비스는 일상언어로 질문하는 통계도 맥락과 의도를 파악해 이용자가 궁금한 사항을 대답할 수 있게 된다.

환각 현상을 예방하기 위해 RAG 방식이 적용된 팩트체크 로직을 구현할 계획이다. 언어를 이해하고 표현하는 능력은 민간의 검증된 초거대 AI 언어모델을 활용하되, 실제로 정보를 검색하고 답변을 생성하는 부분은 전문적인 통계문서를 고차원적인 벡터로 저장한 통계학습 데이터베이스에서만 찾아오도록 설계할 계획이다.