Qwen3.8-27B FP8 공개…구글은 암호화 상태 AI 추론 도구 HEIR 소개

AI 모델을 더 효율적으로 배포하려는 움직임과 민감한 데이터를 보호한 채 추론하려는 연구가 동시에 이어지고 있다. Qwen은 27B 규모 모델의 FP8 가중치를 공개했고, 구글은 동형암호 기반 AI 추론을 돕는 오픈소스 컴파일러 HEIR의 활용 사례를 소개했다.

Qwen3.8-27B의 FP8 가중치

Hugging Face에 공개된 Qwen3.8-27B-FP8은 후처리 학습을 마친 270억 매개변수 모델을 FP8 방식으로 양자화한 버전이다. Qwen은 128개 단위의 세밀한 블록 양자화를 적용했으며, 원본 모델과 거의 같은 성능 지표를 유지한다고 설명한다. 이 평가는 제작사가 제공한 모델 카드 기준이다.

이 모델은 텍스트뿐 아니라 이미지와 동영상을 이해하는 비전·언어 구조를 갖췄고, 추론 모드를 요청별로 조절할 수 있다. 기본 문맥 길이는 26만2,144토큰이며 최대 100만 토큰까지 확장할 수 있다고 안내돼 있다. 가중치는 Apache 2.0 라이선스로 제공되지만, 실제 서비스 환경에서는 FP8을 지원하는 하드웨어와 프레임워크 호환성을 먼저 확인해야 한다.

암호문을 풀지 않고 계산하는 HEIR

구글의 HEIR는 Homomorphic Encryption Intermediate Representation의 약자로, 동형암호 프로그램을 위한 오픈소스 컴파일러 도구 모음이다. 동형암호는 데이터를 복호화하지 않은 상태에서 연산할 수 있어, 서버가 원문을 보지 않고도 추론 결과를 계산하는 방식을 가능하게 한다.

구글은 HEIR를 이용해 기존 AI 모델을 암호화된 입력에서 동작하도록 변환하는 것을 목표로 한다. 공개한 예시에는 추천 모델, 신용카드 사기 탐지, 암호화된 네트워크 트래픽의 이상 징후 탐지, 음성 호출어 감지가 포함됐다. 예제 코드는 공개돼 있지만 동형암호에는 여전히 상당한 계산 비용이 들며, 하드웨어 가속기의 지연시간 개선 효과는 추후 공개할 계획이다.

Qwen의 FP8 양자화가 모델 실행에 필요한 자원을 줄이는 접근이라면, HEIR는 처리 과정에서 데이터가 노출되지 않도록 만드는 접근이다. 목적은 다르지만 실제 AI 서비스를 운영할 때 성능과 개인정보 보호를 함께 검토해야 한다는 점을 보여준다.