AI 학습 데이터 구축? 성과 내는 조직만의 전략 3가지

안녕하세요. 페블러스 데이터 커뮤니케이션팀입니다! AI가 무서운 속도로 발전하며 우리 삶 곳곳에 스며들고 있습니다. 하지만 세상의 모든 AI가 그렇게 빠르게 성장하는 것은 아니죠.

느린 발전 속도로 시장에서 외면받는 AI와 초고속으로 발전하는 AI의 차이는 무엇일까요?

성공하는 조직은 ‘AI 학습 데이터 구축’부터 다릅니다.

AI 학습 데이터 구축이란?

인공지능이 스스로 학습할 수 있도록 데이터를 모으고, 정제하고, 가공하는 과정 전체를 말해요. 쉽게 말해, ‘AI가 공부할 교재를 만드는 단계’에요!

AI 학습 데이터 구축이 중요한 이유

사람은 ‘경험’을 통해 만들어집니다. 만약 한 사람의 일생 대부분이 부정적인 경험만 가득하다면 어떨까요? 그 사람의 미래도 부정적으로 흘러가기 쉽습니다.

그런데 사실 이는 ‘절대적’인 건 아닙니다. 더 행복한 미래를 살아갈 수 있는 방법, 분명히 있어요. 부정적인 경험을 하더라도, 긍정적인 경험을 학습하는 것이죠! 
 

인공지능도 그렇습니다. 아무리 기획 의도가 좋고, 뛰어난 알고리즘을 개발하려고 해도 정작 잘못된 데이터를 배우면 잘못된 결과를 도출하는 AI 모델이 만들어집니다. 

그런데 어떤 데이터가 좋은 데이터인지 분간하는 과정 자체가 참 어렵죠? 맨 처음에는 품질 높은 AI 학습 데이터 구축을 했을지라도, 이후의 과정에 있어서 오류가 발생할 수 있고요. 

지금부터는 걱정하지 마세요. 데이터클리닉이 처음부터 끝까지 모두 알려드립니다. AI 학습 데이터의 개념부터 건강한 AI 학습 데이터 구축의 노하우까지, 오늘 글 한 번으로 모두 한 번에 이해할 수 있도록 알려드리겠습니다!

AI 학습 데이터의 종류

AI 학습 데이터 구축 과정에서, 오로지 ‘학습 데이터’만 사용하는 것은 아닙니다. 또 다른 데이터 2가지가 더해져야 비로소 완전해져요. 이 세 가지가 다 모이면 ‘데이터 셋'이 되는 것이죠! 데이터 셋을 모두 관리해야 합니다. 

• 학습 데이터: 말 그대로 AI 모델을 학습시키는 용도입니다. 모델 학습에 있어서 가장 높은 비중을 차지해요.
  
  
• 검증 데이터: 학습 데이터만으로는 부족합니다. AI 모델의 품질을 점검할 검증 데이터가 필요합니다. 학습 중간중간에 정확도를 체크하는 것이죠.
  
  
• 평가 데이터: 검증 데이터와 비슷해 보이지만 명확하게 차이가 있습니다. 쉽게 말해 시험 문제 같은 역할을 하는데요. 기존에 학습 과정과는 사뭇 다른 데이터를 넣습니다. 경험하지 못한 데이터를 평가 용도로 넣어, 모델의 성능을 평가하는 것이죠. 
  
   

건강한 AI 학습 데이터 구축 프로세스 5단계

AI 학습 데이터 구축부터 AI 서비스를 출시하기까지, 이 모든 과정을 쭉 확인해 볼까요?

1) 데이터 수집

AI 개발의 첫 번째 단계, 데이터 수집이죠. AI가 학습할 수 있도록 텍스트, 이미지, 음성 등 다양한 형태의 ‘원시 데이터’를 모으는 과정입니다.

2) 데이터 정제

데이터를 수집한 후 바로 날 것의 데이터를 곧바로 사용하기란 어렵습니다. 이 중에서 불필요한 정보나 오류를 제거하면, ‘원천 데이터’가 만들어집니다.

3) 데이터 레이블링(라벨링) 

외국인과 대화를 할 때 의사소통을 하기 어려운 이유가 뭘까요? 간단합니다. 언어가 다르기 때문이죠. 

AI와 사람 사이에서도 비슷합니다. 사람의 언어를 AI가 이해할 수 있도록, 데이터 라벨링을 해야 합니다. 예를 들어 사진 속에서 ‘고양이’, ‘개’라는 꼬리표를 달아 둘을 구분하는 것이죠. 이렇게 메타 데이터를 달아주면 비로소 ‘가공 데이터’가 됩니다.

4) 데이터 진단

데이터를 가공한 후에도 학습 목적에 맞는지 검증할 필요가 있습니다. 중복 데이터나 라벨링 오류를 제거해야 해요.

5) AI 모델 생성 및 서비스 출시

이렇게 정제된 학습 데이터를 바탕으로 AI를 학습시킵니다. AI가 학습하고 모델을 생성하는 과정에서는 검증 데이터, 평가 데이터가 제 역할을 톡톡히 합니다. 오류를 즉각적으로 발견하는 것이죠.

이 과정을 거쳐 비로소 최종 모델을 생성하고, 본격적으로 서비스를 출시합니다!

AI 학습 데이터 구축 핵심 노하우 3가지

또한 지금까지 말씀드린 노하우를 적용하면, 어느새 여러분의 AI 성능은 눈에 띄게 달라집니다.

부족한 데이터를 채워 주는 2가지 해결책의 ‘함정’

여러분이 특정 데이터가 필요한데, 막상 구하기가 어렵다면 어떻게 대처해야 할까요? 2가지 대안이 있습니다. 

1. 크라우드 소싱: 쉽게 말해, 불특정 다수에게 작업을 외주를 주어 데이터를 수집하는 방식이죠. 이미지 촬영, 음성 녹음 등을 실제 사람들을 통해 맡기고 직접 데이터를 생성하는 과정을 말합니다. 

2. 합성데이터 생성: 기존에 가지고 있던 실제 데이터를 토대로 현실과 유사한 가상의 데이터를 인공적으로 생성해요. 

그런데 두 방식 모두 함정이 있습니다. 물론 둘 다 좋은 방안이지만, 각각 단점이 있는 것이죠.

크라우드 소싱의 단점

• 다수의 외부 인력에게 민감한 정보(의료 데이터, 금융 데이터 등)를 공개하기는 어렵습니다. 개인 정보 유출 위험이 발생할 수 있어요.
  
  
• 불특정 참여자들의 의견과 정보를 수집하고 정리하는 데 상당한 시간과 인력이 필요해요.
  

합성데이터 생성의 단점

• 합성데이터는 실제 데이터를 기반으로 생성되기 때문에, 실제 데이터의 품질이 낮으면 현실감이 떨어지는 합성 데이터만 생성됩니다. 결국 AI 학습 데이터 구축을 했어도, 그저 ‘버려지는 데이터’가 됩니다.
  
  
• 설령 실제 데이터의 품질이 높다고 해도, 여전히 합성데이터 생성은 쉽지 않습니다. 고품질의 합성데이터 생성 기술이 필요하기 때문인데요. 높은 그래픽 기술, 데이터 엔지니어링 노하우를 필요로 합니다. 

결국 해결책으로 인해 또 다른 어려움에 빠집니다. 모순된 상황이죠. 이를 어떻게 극복할 수 있을까요? 데이터클리닉이 찾아낸 방법은 다음과 같습니다. 

데이터클리닉이란? 데이터의 품질을 ‘진단하고 개선’하는 AI 데이터 관리 올인원 솔루션이에요! 

• 먼저 20년 이상 ETRI에서 인공지능과 데이터를 연구한 창업자 두 분과 데이터 사이언스팀이  지금까지 쌓아온 노하우를 모두 발휘하여 여러분의 데이터를 컨설팅합니다.
  
  
• 데이터 과학자가 개발한 솔루션 ‘데이터클리닉’으로 데이터의 품질을 진단한 후 합성데이터를 생성하고, 데이터를 정제합니다.
   

노하우 1) 안심하세요! 민감한 데이터를 보호하면서 합성데이터를 생성하는 ‘데이터 레플리카’

의료, 금융, 공공기관처럼 민감한 AI 학습 데이터 구축을 원하는 기업이라면 반드시 딜레마에 봉착합니다. 

'데이터가 없으면 AI를 학습시킬 수 없고, 그렇다고 정보를 노출하면 보안이 위험한데…’

데이터 레플리카(Data Replica)는 실제 데이터를 그대로 외부에 노출하지 않고, 원본의 통계적 특성과 구조를 반영한 가상의 ‘재현 데이터’를 생성하는 기술입니다. 

쉽게 말해, ‘원본 데이터의 쌍둥이지만 개인정보는 없는 데이터’를 만드는 거죠! 보안은 지키면서 정확도는 유지하는 기술적 타협점, 데이터 레플리카에 있어요.

노하우 2) 불순물을 깔끔하게 없애주는 ‘데이터 다이어트’를 기반으로 합성데이터 생성!

불순물을 깔끔하게 없애고, 합성데이터가 깔끔하게 생성될 수 있는 환경을 만들어요. 데이터클리닉은 AI가 학습하기 어려운 구간, 편향이 심한 영역을 자동으로 찾아내고, 필요한 경우 사실적인 합성데이터를 생성합니다.

또한 데이터 라벨링을 한 후에도 오류가 발생할 수 있어요. 이 오류도 잡아내야 합니다. 

• 사람이 직접 라벨링을 한다고 해서 모두 높은 퀄리티로 라벨링을 하는 건 아닙니다. 같은 기준에 따라 분류하더라도 참여자마다 기준을 미묘하게 다르게 학습하거나, 피로도가 쌓이면 품질이 흔들릴 수 있어요. 

• 사람이 아닌 자동화 솔루션으로 데이터 라벨링을 한다면, 일부 솔루션은 문맥, 감정, 다의어 등 인간이 이해할 수 있는 맥락을 파악하기 어려울 수도 있어요.

데이터클리닉은 그 어떤 상황이든, 데이터 라벨링의 오류까지 섬세하게 잡아냅니다. 

• 라벨 간 기준이 일관성 있게 적용되었는지를 세밀하게 평가합니다.
  
• 발견된 오류는 즉시 수정되며, 같은 실수가 반복되지 않도록 AI 모델을 재학습시킵니다.

그 결과 이렇게 실제와 유사하면서도, 같은 속성으로 깔끔하게 분류한 합성데이터가 만들어집니다! 

샘플 데이터 확인하러 가기

노하우 3) 객관적인 국제 표준, ‘ISO/IEC 5259’를 준수해야 합니다. 

‘AI 학습 데이터 구축에 있어서, 품질이 좋다’는 기준이 뭘까요?

품질에 대한 해석은 주관적입니다. 사실 우리 기업 내부에서는 품질이 좋다고 주관적으로 해석해도, 외부에서 보기에는 품질이 떨어져 보일 수 있습니다. 

그래서 ‘객관적인 기준’, 국제 표준 ISO/IEC 5259가 만들어졌습니다. 

ISO/IEC 5259: ISO/IEC 5259는 기존 데이터 품질 관리 프레임워크가 ‘데이터 생산과 관리’ 중심으로 설계되었다는 한계를 보완했습니다. 외부 데이터를 수집·재사용하는 AI, 머신러닝 환경의 특수성을 반영한 것이죠.

뿐만 아니라 이전 버전인 ISO/IEC 25012보다 품질 기준이 확장되었습니다.

• 균형성(Balance) & 대표성(Representativeness): 데이터 편향(Bias) 문제를 정량적으로 측 정하고 완화했는지 확인합니다. 모델의 공정성을 체크하는 것이죠!
  
  
• 다양성(Diversity) & 유사성(Similarity): 데이터의 과적합(Overfitting) 가능성을 평가합니다.
  
  

여기서 과적합이란 머신러닝 모델이 학습 데이터에만 딱 맞추어져 있어서, 정작 새로운 ‘평가 데이터’에서는 성능이 떨어지는 현상입니다. 학생이 답안지만 달달 외워서, 정작 시험에서 문제가 변형되어 출제되었을 때는 전혀 풀지 못하는 것과 비슷해요.

• 감사 가능성(Auditability) & 관련성(Relevance): AI 모델의 결정 과정을 추적하고 설명 가능성 (Explainability)을 확보하는 데 기여하며, 이는 규제 준수 및 신뢰 확보에 필수적입니다.

페블러스 데이터클리닉 2.0은 바로 이 ISO/IEC 5259 프레임워크를 그대로 적용했습니다.

국제 표준을 준수하는 데이터클리닉 2.0이 궁금하다면?

데이터클리닉 2.0 웨비나에서 확인해 보세요!

✅ ISO/IEC 5259 기반의 데이터 품질 진단 프로세스

✅ 실제 대구디지털혁신진흥원 연계 기업들의 합성데이터 생성 사례

✅ AI 서비스에서 품질 개선이 성능에 미치는 영향

✅ AI 학습 데이터 구축, 데이터 품질 관리에 대한 향후 전망

페블러스의 이정원 부대표님과 대구디지털혁신진흥원 김건욱 센터장님이 여러분의 AI 프로덕트에 바로 적용할 수 있는 실전 노하우를 공유합니다!