생성 AI 연구, ‘성능 경쟁’에서 ‘평가·3D·데이터 품질’로 확장

이미지 출처: Pixabay / 작가: zs18384022951

생성 AI 연구, ‘성능 경쟁’에서 ‘평가·3D·데이터 품질’로 확장

최근 생성 AI 연구의 흐름은 단순히 더 높은 성능 지표를 기록하는 데서 벗어나, 모델을 어떻게 평가하고 실제 활용 가능한 형태로 확장할 것인가에 초점을 맞추고 있다. 특히 Diffusion Transformer(DiT), 3D 생성, 에이전트 학습 데이터 구축 분야에서 이러한 변화가 뚜렷하게 나타나고 있다.

기존 DiT 연구는 주로 ImageNet 기반의 클래스 조건부 이미지 생성 평가에 집중해왔다. 그러나 ImageNet에서의 FID 개선이 실제 생성 모델의 전반적인 발전을 충분히 보여주는지는 꾸준히 의문으로 제기돼 왔다. 이에 DiffusionBench는 ImageNet 평가에만 머무르지 않고 텍스트 투 이미지(T2I) 생성을 포함한 보다 포괄적인 평가 체계를 제안했다.

이 연구는 NanoGen이라는 통합 학습·평가 프레임워크를 통해 T2I 기반 평가가 더 이상 비용이나 기술적 측면에서 과도하게 불리하지 않다는 점을 보여준다. 특히 ImageNet 성능 순위와 T2I 성능 순위가 강하게 연결되지 않는다는 분석을 제시하며, DiT 연구에서도 단일 벤치마크가 아닌 복수의 생성 과제를 함께 평가해야 한다는 필요성을 강조했다.

3D 생성 분야에서도 실제 활용성을 높이기 위한 연구가 이어지고 있다. FLUX3D는 Sparse Voxel 표현을 활용해 이미지로부터 3D Gaussian Splatting(3DGS) 자산을 생성하는 프레임워크다. 기존 방식은 입력 이미지의 고주파 시각 정보를 충분히 보존하지 못하거나, 2D 이미지 조건과 3D 표현 사이의 정렬이 부족하다는 한계가 있었다. FLUX3D는 Diffusion-Aligned Structured Latents, SMDiT, MARoPE 등을 통해 2D 이미지와 3D 표현 사이의 정렬을 개선하고, 보다 높은 시각적 충실도를 확보하는 데 초점을 맞췄다.

FLAT은 단일 이미지에서 탐색 가능한 3D 장면을 생성하는 과정에서 기하학적으로 더 명확한 표현을 확보하려는 연구다. 기존의 볼륨 기반 3D Gaussian 표현은 렌더링에는 유용하지만, 명확한 표면 구조가 부족해 시뮬레이션이나 표준 그래픽 파이프라인에 활용하기 어렵다는 제약이 있었다. FLAT은 Feedforward Latent Triangle Splatting 기법을 통해 비디오 확산 모델의 잠재 표현에서 삼각형 기반 표면 프리미티브를 직접 예측하는 방식을 제안했다. 이를 통해 시각 품질을 유지하면서도 기하학적 정확성과 실시간 렌더링 활용 가능성을 높이고자 했다.

에이전트 모델 학습을 위한 데이터 구축 방식도 중요한 연구 주제로 떠오르고 있다. OpenThoughts-Agent 프로젝트는 특정 벤치마크에만 최적화된 기존 공개 데이터셋의 한계를 지적하며, 다양한 에이전트 작업에 일반화될 수 있는 모델 학습을 목표로 한다. 이를 위해 작업 수집, 데이터 혼합, 저품질 작업 필터링, 교사 모델을 활용한 에이전트 실행 데이터 생성, 실행 결과 필터링 등으로 구성된 공개 데이터 큐레이션 파이프라인을 제시했다.

이러한 흐름은 생성 AI 연구가 단순한 모델 성능 경쟁을 넘어, 평가 기준의 신뢰성, 3D 자산의 실제 활용성, 에이전트 학습 데이터의 품질 관리로 확장되고 있음을 보여준다. 앞으로의 생성 AI 경쟁력은 모델 크기나 단일 지표 개선뿐 아니라, 다양한 과제에서 일관되게 작동하는 평가 체계와 실제 응용 환경에 맞는 데이터·표현 설계에서 갈릴 가능성이 크다.