LLM의 한계를 뛰어넘기 위한 기술, RAG

RAG(검색 증강 생성)는 검색과 데이터베이스와 같은 기존 정보 검색 시스템의 강점과 생성형 대규모 언어 모델(LLM)의 기능을 결합한 AI 프레임워크입니다. 챗봇과 같은 대규모 언어 모델(LLM)은 언어를 빠르게 번역하고 고객의 질문에 사람처럼 응답할 수 있을 뿐만 아니라 코드도 생성할 수 있습니다. 그러나 LLM은 훈련 과정에서 접한 정보에 대해서만 학습이 되어있는 상태입니다. 이는 곧 잘못된 응답(정보)를 생성할 수 있습니다.

끊임없이 진화하는 전문 지식 영역(예: 비즈니스 및 고객에 대한 심층적인 지식)을 효과적으로 처리하려면 LLM이 최신 데이터에 노출되어야 한다는 점입니다. LLM은 재훈련 또는 미세 조정을 선택할 수 있지만, 이러한 과정에는 추가적인 시간과 비용이 필요할 수 있습니다.

이러한 점들을 보완하기 위해 RAG는 외부 지식 베이스의 데이터를 기반으로 LLM이 가장 신뢰할 수 있는 최신 정보에 액세스할 수 있도록 합니다. 이러한 데이터는 LLM이 컨텍스트에 맞는 의미 있는 최신 응답을 효과적으로 제공 할 수 있게 되었습니다.

위의 내용에서 살펴보았듯이, RAG의 탄생배경은 LLM이 학습한 데이터의 최신화를 목표로하여 데이터의 신뢰성을 높이는 데 있습니다.
이는 다음과 같은 한계를 극복할 수 있을 것으로 보입니다.

1) 전문 분야(도메인 지식)에 대한 한계
의료, 법률, 행정, 기업 내부 문서처럼 일반 LLM이 학습하지 않은 특수한 지식은 모델만으로 정확히 답변하기 어려움이 있기 때문에 RAG 기술을 통해 전문 문서를 직접 가져와 LLM이 참고하도록 하므로 도메인 특화 문제를 해결한다.

2) Hallucination(잘못된 정보 생성) 문제
LLM은 "가장 가능성이 높은 다음 단어"를 예측하는 확률 모델이다. 따라서 정보가 불확실한 경우에도 문맥상 자연스러운 답을 만들어낸다. RAG 기술을 통해 실제 문서를 검색해 LLM이 참고하도록 하여 정확한 근거 기반 답변을 생성한다.

3) 모델 수정 없이 지식 확장 가능
RAG는 파인튜닝 없이 관련문서(백터DB)만 추가하면 스스로 지식을 학습하고 확장 할 수 있다. 이는 곧 지식 업데이트가 매우 유연함과 유지보수의 용이성 및 대규모 모델 유지 비용 절감 등에 효과를 가져다 줄 수 있다.

RAG의 첫 번째 단계는 학습 대상의 원본데이터(정보)를 구축하는 것입니다.
이 독점 데이터 컬렉션에는 회사 핸드북, 제품 요약과 같은 다양한 텍스트 기반 소스가 포함될 수 있습니다. 효율적으로 처리될 수 있도록 데이터를 준비하려면 중복 정보를 제거하고 데이터를 관리 가능한 청크로 분할하는 것과 같은 데이터 정제를 포함하여 몇 가지 작업을 수행해야 합니다.

두 번째 단계는 임베딩 모델이라고 불리는 특수 AI 모델이 그리고 컨텍스트 및 단어 사이의 관계를 캡처하는 벡터(텍스트의 수학적 표현)로 텍스트를 변환합니다. 벡터는 빠른 검색을 위해 벡터 데이터베이스에 저장됩니다.

마지막으로 사용자는 쿼리(프롬프트)를 제출하여, 해당 쿼리는 워크플로의 핵심 구성 요소인 검색 메커니즘을 통과합니다. 이 메커니즘은 벡터 데이터베이스에서 관련 일치 항목을 검색하고 가장 관련성이 높은 데이터를 추가 콘텍스트로 LLM에 공유합니다.

이후 최종적으로 LLM이 훈련과 외부 데이터를 결합하여 최종 응답을 생성하므로, 사용자가 콘텍스트에 맞는 정확하고 의미 있는 답변을 받을 수 있습니다.

RAG는 기존 LLM의 한계를 보완하여 실용성을 크게 높이는 핵심 기술로 떠오르고 있습니다. 특히 최신 데이터 반영, 비용 효율성, 전문 분야 지식 활용 측면에서 혁신적인 장점을 제공한다는 점에서 앞으로 기업 및 기관에서 AI 도입이 확산됨에 따라 RAG 기반 시스템의 활용도는 더욱 증가할 것으로 예상될 것으로 보입니다.
다만 문서 품질 관리, 검색 성능 최적화, 프롬프트 엔지니어링 등 기술적 고려가 필요하며, 이러한 요소를 종합적으로 설계해야 RAG의 장점을 최대화할 수 있을 것입니다.