Skip to content
Research2026.11.05

← 아카이브

데이터가 부족해도, 합성 데이터 잘 만들기

Creating High-Quality Synthetic Data Even When Data Is Scarce

데이터가 부족해도, 합성 데이터 잘 만들기 — 1 / 18
01
데이터가 부족해도, 합성 데이터 잘 만들기 — 2 / 18
02
데이터가 부족해도, 합성 데이터 잘 만들기 — 3 / 18
03
데이터가 부족해도, 합성 데이터 잘 만들기 — 4 / 18
04
데이터가 부족해도, 합성 데이터 잘 만들기 — 5 / 18
05
데이터가 부족해도, 합성 데이터 잘 만들기 — 6 / 18
06
데이터가 부족해도, 합성 데이터 잘 만들기 — 7 / 18
07
데이터가 부족해도, 합성 데이터 잘 만들기 — 8 / 18
08
데이터가 부족해도, 합성 데이터 잘 만들기 — 9 / 18
09
데이터가 부족해도, 합성 데이터 잘 만들기 — 10 / 18
10
데이터가 부족해도, 합성 데이터 잘 만들기 — 11 / 18
11
데이터가 부족해도, 합성 데이터 잘 만들기 — 12 / 18
12
데이터가 부족해도, 합성 데이터 잘 만들기 — 13 / 18
13
데이터가 부족해도, 합성 데이터 잘 만들기 — 14 / 18
14
데이터가 부족해도, 합성 데이터 잘 만들기 — 15 / 18
15
데이터가 부족해도, 합성 데이터 잘 만들기 — 16 / 18
16
데이터가 부족해도, 합성 데이터 잘 만들기 — 17 / 18
17
데이터가 부족해도, 합성 데이터 잘 만들기 — 18 / 18
18
01/18

“AI를 학습시킬 데이터가 부족하면, 생성 모델로 데이터를 만들면 되지 않을까?”

이미지나 문장을 인공적으로 만들어 학습에 활용하는 ‘합성 데이터’는 이런 생각에서 출발합니다. 공장에서 드물게 발생하는 불량품의 사진이나, 구하기 어려운 의료영상을 만들어내는 식이죠. 필요한 데이터를 직접 수집하는 비용을 덜 수 있다는 점에서 많이 고려되는 방법이에요.

그런데 여기에는 또 다른 질문이 하나 생깁니다. 그 데이터를 만들어 줄 모델을 학습시키는 데에도 충분한 데이터가 없다면 어떨까요? 예를 들어 불량 사진이 부족해서 합성하려는데, 정작 불량 사진을 생성하도록 모델을 가르칠 자료부터 부족한 상황입니다.

이 문제를 풀려면 ‘데이터가 부족하다’는 말을 조금 더 들여다볼 필요가 있어요. 당장 학습에 활용할 샘플이 적더라도, 다른 형태의 정보는 남아 있을 수 있습니다. 이미 정상 사진으로 학습된 모델의 지식, 적은 데이터에 대한 모델의 점수, 전문가가 파악한 문법 규칙처럼요.

제조 공정, 뇌 MRI, 저자원 언어를 다룬 세 연구는 이렇게 데이터(샘플) 외의 정보를 학습을 도울 정보로 바꾸는 방법을 보여줍니다. 이들을 따라가다 보면, 처음의 질문도 한 단계 더 나아갑니다. 부족한 정보를 어디에서 가져올 것인지, 그리고 그렇게 만든 데이터가 실제로 도움이 되는지는 어떻게 확인할 것인지로요.

1. 정상 제품에서 불량의 단서 찾기

불량품을 찾아내는 AI를 만든다고 상상해 볼까요. 우리는 정상 제품의 사진과 불량 제품의 사진을 모아서 그 둘을 구분해 내는 모델을 학습시켜야 합니다. 만약 공장이 문제없이 계속 돌아가고 있다면, 정상 제품의 사진은 쉽게 모을 수 있습니다.

반면 불량은 드물게 발생하고, 그 모습도 제각각이죠. 불량 사진이 모자라 그것을 잘 학습시키기 어려워지고, 생성모델로 불량사진을 만들어내기 위해 모델을 추가 학습시키려 해도, 바로 그 사진이 부족하다는 문제에 다시 부딪힙니다.

ECCV 2026에 발표된 DeltaDeno는 사전학습된 이미지 생성 모델에서 실마리를 찾았어요. 정상 제품 이미지와 함께 정상 상태와 결함 상태를 설명하는 두 종류의 문장을 사용합니다. 이를테면 ‘코코넛의 사진’과 ‘금이 간 코코넛의 사진’처럼 결함에 관한 설명만 달리하는 거예요.

핵심은 두 조건에서 이미지가 만들어지는 과정의 차이를 추적하는 데 있습니다. 생성 단계마다 어떤 부분이 얼마나 달라지는지 모으면, 결함 설명에 반응하는 영역을 찾을 수 있어요.

이 영역을 수정할 위치를 표시하는 ‘마스크’로 만들고, 주변 모습은 유지하면서 해당 부분에 결함을 생성합니다. 그 결과 불량 이미지와 결함 위치를 나타내는 마스크를 함께 얻을 수 있었고, 이를 활용하여 모델을 학습시켜 기존 모델들보다 더 뛰어난 성능을 보여주었어요.

이때 부족한 정보를 채워 주는 자원은 생성 모델이 사전학습에서 얻은 시각 지식입니다. 정상 제품의 모습과 결함을 설명하는 문장을 연결해, 실제 불량 사례로 모델을 추가 학습하지 않고도 새로운 불량 데이터를 만드는 거예요. 연구진은 생성 결과의 품질뿐 아니라, 이를 이용해 학습한 모델의 실제 불량 탐지 성능도 평가했습니다.

이 접근은 다른 데이터로 학습된 모델에서 필요한 정보를 끌어낼 수 있다는 가능성을 보여줍니다. 이제 여기서 한 걸음 더 나아가 볼 수 있어요. ==실제 사례가 조금이라도 있다면, 그 사례를 이용해 합성 데이터가 더 유용한 방향으로 만들어지도록 조정할 수 있지 않을까요?==

2. 몇 없는 실제 데이터로 합성의 방향을 가르친다면

뇌 MRI에서는 사진을 확보하는 것만으로 준비가 끝나지 않습니다. 영상의 어느 부분이 어떤 뇌 조직인지 구분하는 분할(Segmentation) 모델을 학습시키려면, 각 영역을 색칠해놓은 라벨도 필요해요.

이를 정밀하게 만드는 데에는 뇌에 대해 잘 아는 전문가의 지식과 시간이 듭니다. 촬영 조건이 바뀌면 같은 조직도 다르게 보일 수 있다는 어려움도 있고요. 그래서 연구자들은 비싸서 많이 만들지는 못했지만 조금이나마 가지고 있는 해부학적 라벨 지도를 최대한으로 활용하는 방법을 연구했습니다.

ICCV 2025에 발표된 Learn2Synth는 해부학적 라벨 지도를 변형해서 합성 영상을 만드는 방식을 출발점으로 삼습니다. 뇌의 각 영역이 표시된 지도에 다양한 밝기와 영상 특성을 부여하여 증강을 하는 거예요. 잘 만들어진 정답 라벨에서 시작하기 때문에, 이를 새롭게 증강을 통해 만들어진 영상의 정답으로 다시 사용할 수 있어요.

여기서 중요한 질문은 합성 영상을 어떻게 변형해야 학습에 도움이 되느냐는 것입니다. Learn2Synth는 그 답을 소량의 실제 라벨 데이터에서 얻어요.

먼저 합성 사진으로 분할 모델을 학습시킵니다. 이어 실제 MRI에서 모델의 예측과 정답이 얼마나 다른지 확인하고, 그 오차를 이용해 합성 영상의 증강 방식을 조정해요.

규칙 기반의 증강이 아니라 학습 가능한 증강을 활용하여 어떻게 바꾸어야 좋은 합성 영상으로 만들지를 배우는 것입니다. 분할 모델은 합성 자료로 학습하고, 실제 자료는 그 학습에 쓰일 데이터를 개선하는 피드백으로 활용되는 구조죠.

이를 비유하자면 연습문제(합성 영상)를 풀게 한 뒤 실전 문제(실제 영상)에서 드러난 약점을 보고, 다음 연습문제의 구성을 바꾸는 방식과 닮았습니다. 몇 없는 실제 사례가 더 많은 합성 사례의 방향을 잡아 주는 셈이에요.

3. 문법에 맞게 만든 문장은 얼마나 도움이 될까?

이 질문을 직접 다룬 연구는 ACL 2025의 「Is linguistically-motivated data augmentation worth it?」입니다. 연구진은 두 아메리카 원주민 언어인 Uspanteko와 Arapaho를 대상으로, 번역과 형태소별 의미·문법 정보를 붙이는 작업에서 데이터 증강의 효과를 비교했어요.

비교 대상은 단어를 무작위로 넣거나 지우고 반복하는 단순한 방법과, 각 언어의 문법을 반영하는 증강 방법이었습니다. 문법 기반 방법에는 Uspanteko 동사의 완료·미완료 표현을 바꾸거나, 문장 앞에 접속사와 감탄사를 넣거나, Arapaho의 허용되는 어순을 바꾸는 방식 등이 포함됐죠.

결과는 방법과 과제에 따라 달랐습니다. 접속사·감탄사 삽입은 번역에서 무작위 단어 삽입보다 유리했어요. 하지만 동사의 완료·미완료 표현을 바꾸는 방법의 개선은 단어를 반복하는 단순 증강보다 작았고, Arapaho의 어순 변경은 오히려 성능을 떨어뜨렸습니다.

어순을 바꿔도 문법적으로 가능한데, 왜 성능은 떨어졌을까요? 연구진은 실제 사용 분포와의 차이를 그 이유로 제시했어요. 어순이 자유로운 언어에서도 사람들이 선호하는 배열은 있을 수 있는데, 규칙상 허용되는 문장을 많이 만들어도 그 문장들이 실제로 사용하는 표현과 크게 다르면 학습에 도움이 되지 않을 수 있다는 해석입니다.

이 차이는 데이터를 만드는 데 들어가는 노력까지 생각하면 더 중요해집니다. 이 연구에서는 언어학 훈련을 받은 제1저자가 두 언어의 문법서와 사전 등을 공부하는 데 1년 넘게, 약 200시간을 들였어요. 저자들은 얼마 되지 않는 성능 개선을 고려할 때, 차라리 이 노력을 실제 자료 수집과 주석 작업에 쓰는 편이 더 생산적일 수도 있다고 말했어요.

전문 지식은 부족한 데이터를 채울 중요한 자원입니다. 다만 그 지식을 반영한 결과가 학습에도 유용한지는 별도로 확인해야 해요. 문장을 만드는 규칙을 안다는 것과, 모델의 학습에 도움이 되는 문장을 판단하는 것 사이에는 간격이 있기 때문입니다.

데이터를 만들기 전에, 무엇이 부족한지 묻기

세 연구는 서로 다른 곳에서 부족한 정보를 가져왔습니다. DeltaDeno는 사전학습된 모델의 시각 지식을, Learn2Synth는 해부학적 구조와 실제 데이터의 피드백을, 저자원 언어 연구는 문법과 사전에 담긴 지식을 활용했어요. 곧바로 학습에 넣기 까다로운 자원을 새로운 학습 사례로 바꿨다는 공통점이 있습니다.

그래서 데이터가 부족한 프로젝트를 만났다면, 먼저 부족함의 종류를 구체적으로 짚어 볼 필요가 있습니다. 드문 사례가 없는 걸까요? 자료는 있지만 정답 표시가 없는 걸까요? 특정 표현이나 상황이 충분히 담기지 않은 걸까요? 무엇이 비어 있는지 알아야, 다른 모델이나 기존 자료, 전문 지식 가운데 어디에서 도움을 얻을지 결정할 수 있습니다.

그다음에는 그렇게 만든 데이터의 효과를 실제 과제에서 확인해야 합니다. 복잡한 합성 방법이 간단한 증강보다 나은지, 같은 시간과 노력을 실제 자료 확보에 쓰는 것과 비교하면 어떤지도 판단의 일부가 되고요.

처음의 질문으로 돌아가 보겠습니다. 합성 데이터를 만들 자료조차 부족할 때, 출발점은 이미 존재하는 정보의 위치와 쓰임을 다시 살피는 데 있습니다.

무엇이 부족하고, 어떤 정보로 채울 수 있으며, 그 효과를 무엇으로 확인할 것인가. 이 세 질문을 함께 던질 때, 합성 데이터는 우리가 풀려는 문제에 한층 가까워질 수 있을겁니다.

태그

  • #인공지능
  • #AI논문
인스타그램에서 보기이 글에 의견 남기기