🔥LLM 데이터셋 10만 건을 구축 후 깨달은 사실

🔥LLM 데이터셋 10만 건을 구축 후 깨달은 사실

모두 공유합니다!

2026. 1. 5.

LLM 데이터셋을 직접 만들며 깨달은 노하우

LLM 데이터셋을 직접 만들며 깨달은 노하우, 모두 공유합니다!

LLM 데이터셋 구축, 너무 까다롭고 힘드시죠? 😂

sLLM보다 데이터는 방대해서 놓치기 쉬운 사항이 많아요.
기준과 과정도 복잡하고요.

그래서 페블러스가 실제로 11만 건의 LLM 데이터셋을 어떻게 설계하고, 구축하고, 검증했는지 그 전 과정을 투명하게 공유하려 합니다!

혼란스러운 페블이

LLM AI를 접목한 데이터 품질관리 솔루션, 데이터클리닉 2.0을 예로 들어볼게요.

단순히 자동 데이터 품질 진단 결과를 보여주는 도구가 아니에요!
여러분이 데이터를 넣으면, AI 데이터 과학자와 ‘대화’하며 데이터 품질을 실시간으로 점검하고 관리할 수 있도록 설계되었습니다.
이제는 데이터를 어려워하는 분들도 데이터 품질 관리를 쉽게 해낼 수 있어요.

데이터클리닉 2.0 소개글 보러가기

참고로 블로그에 데이터클리닉 2.0 외에도 제조, 안전, 로봇 등 다양한 산업군의 예시가 있어요.

여러분의 산업군과 알맞은 LLM 데이터셋 구축 과정을 확인해보세요!

데이터셋 11만 건을 구축한 파이프라인 4단계

데이터클리닉 2.0의 LLM 데이터셋은 총 4단계의 파이프라인을 거쳐 만들어졌어요!

1️⃣ 문서 전처리

2️⃣ 지식 그래프 구축

3️⃣ QA 생성

4️⃣ 품질 검증

1. 문서 전처리

수집한 문서 카테고리

규제와 거버넌스: 데이터클리닉 2.0은 법과 제도를 기반으로 데이터의 품질을 판단할 수 있는 시스템을 갖추었어요!
데이터 품질과 표준: 데이터 품질 관리의 교과서인 ISO/IEC 5259 시리즈, 공공데이터 품질관리 매뉴얼도 물론 학습했습니다.
도메인 응용: 로봇, 제조, 사회안전 분야의 지식, AI Hub 구축 가이드를 학습했어요. 현장에서 실제로 사용되는 데이터의 구조, 제약, 맥락을 담고 있습니다.
데이터 과학 기초: ICML 등 최신 AI 학회 논문 등 데이터 과학 이론 자료를 학습하여 사고가 깊어질 수 있는 '기초 체력'을 늘렸어요!
페블러스 데이터클리닉: 페블러스 내부 기술 문서, 데이터렌즈 진단론 등 페블러스 데이터 과학자들이 쌓아온 지식, 사고 방식을 그대로 학습시켰습니다.

이렇게 수집한 문서들은 각각 총 3단계에 거쳐서 전처리를 했습니다. LLM이 이해할 수 있는 형태로 문서를 재구성한 것이죠.

1) PDF 텍스트 추출

불필요한 헤더, 푸터는 제거하고, 필요한 텍스트만 추출했습니다.
또한 텍스트 레이어가 없는 PDF는 OCR 처리(이미지 속 글자를 읽어서 텍스트로 바꿔주는 기술)를 적용했어요!

2) LLM 기반 텍스트 정제

LLM이 지식을 오해하여 학습하지 않도록, 텍스트를 추출한 후에도 텍스트를 정제했습니다.

3) Document 객체 캐싱

텍스트뿐만 아니라 문단 구조, 메타데이터, 분류 정보까지 인식하기 편하도록 한 묶음으로 묶어두었어요.
LLM 개발 이후에도 데이터가 추가 및 수정된다면, 시스템이 그 변화를 감지해서 전처리 결과를 다시 감지하도록 설정했어요.

2. 지식 그래프 구축

지식 그래프: AI가 이해하기 쉽도록 문서 속 지식을 구조화하는 단계입니다.

지식 그래프는 5단계에 걸쳐서 만들어집니다!

1) 의미 없는 컨텍스트 필터링

중복되거나 불필요한 문장, 문맥들은 오히려 학습에 방해가 됩니다.

LLM에서 실제 지식이 되는 부분만 남겨야 해요.

2) 문서 노드(Node) 생성

노드: 이 문서 자체가 어떤 지식을 담고 있는지 보여주는 기준점!

🤔 노드라는 '기준점'이 없다면?

문서가 쪼개진 단위, 청크들이 각자 어느 문서에서 왔는지 알 수 없어요.
AI가 정보를 조합하여 답변을 내놓더라도 오류가 발생할 수 있어요.

3) 청킹

청킹: 문서를 의미 단위로 잘게 쪼개는 작업!

⚠️ 청킹에서 주의할 점

문장을 일정 길이로 자르는 게 아니라, ‘내용이 완결되는 단위’로 자르는 게 핵심!
조항 단위, 정의 단위, 표 설명 단위로 나누는 것도 포함돼요.

4) 키프레이즈 추출

각 청크가 어떤 내용인지를 한눈에 파악할 수 있도록, 핵심 개념, 표준 이름, 지표 코드, 법령 명칭 등을 담은 키프레이즈를 뽑아내요.

5) 청크 간 관계 구축

서로 도움을 주는 청크들의 관계를 구축해야 지식의 힘이 강해집니다!

예시: 정의 → 적용

‘데이터 완전성 정의’ 청크 ↔ ‘완전성 평가 방법’ 청크
정의를 내려야 실제로 데이터 품질 관리를 적용할 수 있어요.

3. QA 생성

페블러스는 단일 문맥, 다중 문맥 질문 모두에 답할 수 있도록 LLM 데이터셋을 구축했습니다.

단일 문맥(Single Hop): 하나의 정보만 보면 답이 나오는 질문!
그러나 단일 문맥만 학습하면, 복잡한 문맥이 더해진 질문은 답변하기 어려워져요. 사고력이 있는 똑똑한 AI는 아닌 것이죠.

단일 문맥

다중 문맥(Multi Hop): 여러 문서, 여러 정보 조각을 연결해야만 답이 나오는 질문
실무에서는 깊은 사고력이 요구되는 상황이 많아요. 따라서 반드시 다중 문맥까지 추론하고 해결할 수 있는 AI가 필요합니다.

다중 문맥

4. 품질 검증

하지만 여기서 끝이 아닙니다. 페블러스는 이 데이터셋 구축이 실제로 수행되었고, 기준을 충족했는지를 객관적으로 증명하기 위해 공인시험기관(CAS)을 통해 시험 평가를 진행했습니다.

양적인 목표 및 검증 결과

목표: 데이터클리닉 2.0의 핵심 기술 AADS(Autonomous AI Data Scientist, 자율형 데이터 과학자)를 구성하는 LLM 학습/평가 데이터셋 11만 건 구축하기
실제 검증 결과: 페블러스의 LLM QA 데이터셋은 목표 대비 103.8% 달성! 🎉

질적인 목표 및 검증 결과

목표: 페블러스 QA 데이터셋으로 학습시킨 AADS-KONI 모델이 GPT-4 대비 최소 90% 높은 성능을 달성하기
실제 검증 결과: GPT-4 대비 최소 95.63% 최대 142.57% 상승한 성능으로, 기존 목표보다 초과 달성! 🎉

'글로벌 AI 빅테크 육성사업'의 2단계에도 선정된 AADS!

이 4단계의 과정을 거친 결과...

AI 데이터 과학자 AADS는 글로벌 AI 빅테크 육성사업 2단계에 선정되었습니다!
공동연구기관 KISTI와 함께 총 20억 규모의 연구비를 지원받았어요.

페블러스는 성장을 멈추지 않습니다. 💪

AADS는 글로벌 AI 빅데크 육성사업 2단계를 통해 멀티모달 VLM 데이터셋까지 구축할 예정입니다.
텍스트뿐만 아니라 이미지, 영상 등 다양한 데이터를 보다 품질 높은 데이터로 개선할 수 있는 기반을 만드는 것이죠.

오늘 소개한 과정을 거쳐 만들어진 ‘데이터클리닉 2.0’이 궁금하시다면?

👉 현재 사전 신청을 통해 2개월 간 무료로 체험해보세요!

🤝 참고로 2개월이 지나도 자동 결제가 되지 않으니, 안심하고 사용해보세요.

데이터를 입력하고, ‘데이터 품질 관리를 해줘’, ‘데이터 품질을 평가해줘’처럼 질문을 남겨보세요.
AI 데이터 과학자가 빠르고 정확하게, 여러분의 데이터 품질을 점검하고 개선해드립니다.

👉 '데이터클리닉 2.0' 무료 체험하기!

🚀 AI 기반 데이터 혁신, 지금 페블러스와 함께 하세요!

페블러스는 AI와 데이터 분석을 통해 다양한 산업의 문제를 해결하고,

더 나은 의사결정을 지원합니다.

📌 페블러스에 대해 더 알고 싶거나, 협업 및 파트너십을 논의하고 싶다면

언제든지 연락 주세요!

💌 문의 및 협업 제안: contact@pebblous.ai

페블러스 드림

페블러스의 자세한 내용 확인하기
데이터의 진심, 페블러스: pebblous.ai

데이터 클리닉: dataclinic.ai

페블로스코프: pebbloscope.ai

문의: contact@pebblous.ai

수신거부 Unsubscribe

데이터클리닉 뉴스레터를구독하고 이메일로 받아보세요

데이터 종합병원 '데이터클리닉'이 운영하는 뉴스레터입니다.

이전 뉴스레터

🎟️ 님의 데이터 품질진단 혜택이 3일 뒤에 사라져요.

다음 뉴스레터

오늘 마감 ⏰ 데이터 품질진단 이용권 증정

데이터클리닉 뉴스레터

데이터 종합병원 '데이터클리닉'이 운영하는 뉴스레터입니다.