Papers with Code, 6월 18일 신작 ML 논문·코드 10편 공개

이미지 출처: Pixabay / 작가: markusspiske

2026년 6월 18일 공개된 최신 머신러닝 논문 가운데 JanusMesh, MemoryWAM, UNIEGO가 주목받고 있다. 이들 논문은 각각 3D 생성, 로봇 조작, 에고센트릭 비디오 이해라는 서로 다른 분야를 다루지만, 공통적으로 기존 모델의 한계를 줄이고 더 효율적인 표현과 추론 방식을 제안한다는 점에서 의미가 있다.

먼저 JanusMesh는 텍스트 기반 3D 시각 착시 생성을 위한 빠른 제로샷 프레임워크다. 이 연구의 목표는 하나의 3D 메시가 보는 각도에 따라 서로 다른 의미를 드러내도록 만드는 것이다. 예를 들어 특정 각도에서는 공작처럼 보이고, 다른 각도에서는 파인애플처럼 보이는 식이다. 기존 최적화 기반 방식은 생성 속도가 느리고 색상이 과도하게 포화되는 문제가 있었으며, 단순 결합 방식은 지오메트리의 일관성이 떨어져 부자연스러운 이음새나 의미 누수가 발생할 수 있었다. JanusMesh는 이를 해결하기 위해 교차 공간 이중 분기 denoising과 시점 조건부 텍스처 합성 방식을 사용한다.

MemoryWAM은 장기 로봇 조작을 위한 World Action Model이다. 로봇이 복잡한 조작 작업을 수행하려면 현재 관찰뿐 아니라 이전 관찰과 행동 흐름을 함께 기억하고 활용해야 한다. 그러나 기존 WAM은 과거 정보를 충분히 반영하려면 추론 비용이 커지고, 반대로 효율성을 높이면 장기 문맥을 잃기 쉬운 문제가 있었다. MemoryWAM은 persistent memory 구조를 도입해 이 균형 문제를 해결하려는 접근이다. 이를 통해 로봇이 장시간 이어지는 조작 작업에서 장면 정보를 더 안정적으로 유지하고, 현재 행동 예측에 필요한 과거 정보를 효율적으로 활용할 수 있도록 한다.

UNIEGO는 에고센트릭 비디오 이해를 위한 통합 표현 학습 프레임워크다. 에고센트릭 비디오는 사람의 시점에서 촬영되기 때문에 손, 물체, 움직임, 주변 환경이 복합적으로 얽혀 있다. 단일 시점, 단일 모달리티, 단일 모델만으로는 이런 행동 정보를 충분히 포착하기 어렵다. UNIEGO는 ego-exo 관점, RGB·depth·skeleton 등 다양한 모달리티, 여러 foundation model의 표현을 교사로 활용해 더 풍부한 에고센트릭 비디오 표현을 학습한다. 핵심은 여러 지식원을 단순히 나열하는 것이 아니라, proxy를 매개로 삼아 하나의 통합된 표현으로 연결하는 데 있다.

이번 논문들은 생성형 AI와 로봇, 비디오 이해 연구가 단순히 모델 크기를 키우는 방향만이 아니라, 더 효율적인 구조와 장기 문맥 활용, 다중 지식 통합으로 확장되고 있음을 보여준다. 다만 아직 연구 단계의 논문인 만큼, 실제 산업 적용 가능성은 후속 검증과 코드 공개 범위, 재현성 평가를 통해 더 확인될 필요가 있다.