GigaToken, 토큰화 속도 최대 1,000배 개선 주장…AI 인프라 저수준 최적화 주목

이미지 출처: Pixabay / 작가: JohnsonMartin

언어 모델의 토큰화 처리 속도를 크게 높인 오픈소스 프로젝트 ‘GigaToken’이 개발자 커뮤니티에서 주목받고 있다.

개발자가 공개한 벤치마크에 따르면 GigaToken은 일부 시스템과 토크나이저 조합에서 Hugging Face Tokenizers보다 약 500~1,000배, OpenAI의 tiktoken보다 약 100배 이상 빠른 처리 성능을 기록했다.

다만 최대 1,000배라는 수치는 특정 하드웨어와 토크나이저, 데이터셋을 이용한 자체 측정 결과다. 모든 컴퓨터와 모델에서 동일한 성능 향상이 나타난다는 의미는 아니다.

SIMD와 캐시 최적화로 토큰 처리 가속

토큰화는 사람이 작성한 문장을 언어 모델이 처리할 수 있는 작은 단위인 토큰으로 나누고 숫자로 변환하는 과정이다.

예를 들어 “오늘 날씨가 좋다”라는 문장을 모델에 그대로 전달하는 것이 아니라, 모델이 사용하는 규칙에 따라 여러 조각으로 나눈 뒤 각각을 숫자 형태로 바꾼다.

GigaToken은 이 과정에서 발생하는 CPU 연산을 줄이기 위해 SIMD와 캐시, 분기 최소화 같은 저수준 최적화 기법을 활용한다.

SIMD는 하나의 CPU 명령으로 여러 데이터를 동시에 계산하는 기술이다. 한 명이 상자를 하나씩 옮기는 대신 여러 개를 한꺼번에 운반하는 것과 비슷하다.

프로젝트는 일반적으로 정규식 엔진이 담당하는 사전 토큰화 과정을 직접 최적화하고, 이전에 처리한 단어의 결과를 빠르게 다시 사용할 수 있도록 캐시 구조도 개선했다. Python과 Rust 사이의 통신 및 스레드 간 처리 비용을 줄인 점도 성능 향상에 영향을 미쳤다.

전체 AI 응답이 1,000배 빨라지는 것은 아냐

GigaToken의 높은 벤치마크 결과가 언어 모델의 전체 응답 속도를 같은 비율로 높이는 것은 아니다.

일반적인 LLM 서비스에서는 토큰화 이후 GPU가 수행하는 모델 추론이 전체 처리 시간의 대부분을 차지한다. 토큰화가 전체 과정의 1%를 차지한다면 해당 단계를 아무리 빠르게 만들어도 전체 응답 시간 감소 폭은 제한적이다.

실제로 커뮤니티에서 공유된 초기 측정에서는 GigaToken을 적용했을 때 첫 토큰 생성 시간인 TTFT가 긴 입력을 기준으로 약 5~8% 감소한 사례가 소개됐다.

반면 요청이 매우 많거나 긴 문서를 반복적으로 처리하는 환경에서는 의미가 달라질 수 있다. 모델에 요청을 보내기 전에 토큰 수를 계산하거나 사용량 제한과 비용, 모델 라우팅을 결정하는 플랫폼에서는 토큰화 자체가 중요한 처리 단계가 될 수 있다.

대규모 데이터 전처리와 모델 학습, 검색 색인 구축처럼 텍스트를 반복적으로 토큰화하는 작업에서도 활용 가능성이 크다.

아직 지원 범위와 환경에는 제한

GigaToken은 모든 토큰화 방식을 동일한 수준으로 지원하지 않는다.

현재 WordPiece는 지원하지 않으며, SentencePiece 기반 토큰화는 일반적인 BPE 방식보다 최적화 수준이 낮다. Windows 환경에 대한 테스트도 충분하지 않아 프로젝트 측은 현재 WSL 사용을 권장하고 있다.

Python 호환성을 위해 안정적인 ABI를 사용하면서 일부 성능 손실이 발생하는 문제도 남아 있다. 개발자는 향후 Python 버전에 맞춘 최적화를 적용하면 추가적인 성능 개선이 가능할 것으로 보고 있다.

따라서 기존 서비스에 바로 적용하기 전에는 사용하는 모델의 토크나이저가 지원되는지와 기존 결과가 정확히 일치하는지 확인해야 한다.

AI 인프라에서 다시 주목받는 SIMD

GigaToken의 성능 개선 사례와 함께 SIMD 같은 저수준 최적화 기술도 관심을 받고 있다.

최근 AI 개발은 모델 규모와 GPU 성능에 집중되는 경우가 많지만, 실제 서비스에는 텍스트 전처리와 데이터 이동, 직렬화, 검색, 네트워크 통신 등 다양한 CPU 작업이 포함된다.

이러한 단계에서는 단순히 더 빠른 GPU를 추가하는 것보다 메모리 사용과 캐시 구조, SIMD 연산, 입출력 방식을 개선하는 편이 더 효과적일 수 있다.

다만 모든 AI 개발자가 직접 SIMD 명령어를 작성해야 하는 것은 아니다. 일반적인 애플리케이션 개발자는 최적화된 라이브러리를 사용하는 것만으로도 충분하다. SIMD는 주로 토크나이저나 데이터베이스 엔진, 영상 처리 라이브러리처럼 성능에 민감한 기반 기술을 개발할 때 중요하다.

중고 GPU 클러스터의 가치 평가도 논의

AI 인프라 시장에서는 중고 GPU 클러스터의 가치를 어떻게 평가해야 하는지를 둘러싼 논의도 이어지고 있다.

GPU의 중고 가격만으로 클러스터의 가치를 판단하기 어려운 이유는 장비의 수량과 세대뿐 아니라 GPU 간 연결 속도, 전력과 냉각 시설, 네트워크 구조, 유지보수 상태가 실제 성능에 큰 영향을 미치기 때문이다.

개별 GPU는 정상적으로 작동하더라도 클러스터 전체의 네트워크와 전력 설비가 오래됐다면 최신 AI 모델의 분산 학습에는 적합하지 않을 수 있다.

반대로 최신 모델을 처음부터 학습하기에는 부족한 시스템도 추론이나 데이터 전처리, 소규모 모델 학습 용도로는 충분한 가치를 가질 수 있다.

따라서 중고 GPU 클러스터는 단순한 장비 가격보다 실제로 수행할 수 있는 작업과 전력 비용, 운영 유지비를 함께 고려해 평가해야 한다.

Postgres 운영에서는 기본 원칙 강조

PostgreSQL 운영과 관련해서는 새로운 기능보다 장애를 예방하는 기본적인 관리 원칙이 중요하다는 의견도 공유되고 있다.

데이터베이스를 안정적으로 운영하려면 정기적인 백업뿐 아니라 실제 복구 테스트가 필요하다. 백업 파일이 존재하더라도 복구 방법을 검증하지 않았다면 장애 발생 시 사용할 수 없을 가능성이 있다.

느린 쿼리와 인덱스 상태, 디스크 사용량, 연결 수, 복제 지연을 지속적으로 관찰하는 작업도 중요하다.

특히 자동 생성된 쿼리나 AI가 작성한 데이터베이스 코드는 개발 환경에서는 정상적으로 작동하더라도 데이터가 증가하면 성능 문제가 발생할 수 있다. 실행 계획과 잠금, 트랜잭션 범위를 운영 환경에 맞게 검토해야 한다.

하나의 HTML 파일에 담은 프레젠테이션 도구 Bento

프레젠테이션 분야에서는 ‘Bento’라는 오픈소스 프로젝트가 Hacker News에서 높은 관심을 받았다.

Bento는 편집기와 슬라이드 데이터, 발표 기능, 애니메이션, 차트 등을 하나의 HTML 파일 안에 담는 도구다. 기본 파일 크기는 약 560KB이며, 파일을 받은 뒤에는 별도의 프로그램이나 클라우드 로그인 없이 웹브라우저에서 편집하고 발표할 수 있다.

슬라이드의 데이터는 HTML 파일 내부의 JSON 영역에 저장된다. 사용자는 파일을 직접 검색하거나 AI 코딩 도구에 전달해 내용을 수정할 수 있다.

실시간 공동 편집도 지원한다. 공동 편집 과정에서는 암호화된 중계 서버가 사용되지만, 개발자는 서버가 슬라이드의 실제 데이터를 확인할 수 없는 구조라고 설명했다.

다만 Bento는 기존 PowerPoint 파일을 자동으로 완벽하게 변환하는 도구는 아니다. 개발자는 Claude나 ChatGPT에 기존 PPTX 파일을 Bento 형식으로 변환하도록 요청할 수 있다고 설명했지만, 복잡한 레이아웃과 애니메이션이 그대로 재현되는지는 별도로 검증해야 한다.

채용 과제와 실제 운영 코드의 간극

개발자 채용 과정에서 제출되는 과제 코드와 실제 운영 환경에 필요한 코드 사이의 차이를 다룬 논의도 이어졌다.

짧은 시간 안에 완성해야 하는 채용 과제에서는 기능 구현 여부가 우선 평가되는 경우가 많다. 이 때문에 테스트와 오류 처리, 보안, 로깅, 성능, 배포 구조 같은 운영 요소가 생략되기 쉽다.

그러나 이러한 요소가 빠졌다는 이유만으로 지원자의 실력이 부족하다고 판단하기도 어렵다. 제한된 시간과 평가 기준에 맞춰 의도적으로 범위를 줄였을 가능성이 있기 때문이다.

채용 과정에서는 완성된 코드만 확인하기보다 지원자가 어떤 부분을 단순화했고, 실제 서비스로 확장한다면 무엇을 보완할 것인지 설명하도록 하는 방식이 더 현실적이다.

저수준 최적화와 운영 설계 함께 봐야

GigaToken과 Bento를 비롯해 최근 Hacker News에서 주목받은 프로젝트들은 작은 기반 기술의 개선이 개발 환경에 큰 변화를 가져올 수 있다는 점을 보여준다.

하지만 하나의 벤치마크나 도구만으로 전체 시스템 성능과 안정성을 판단해서는 안 된다.

토큰화 속도가 크게 향상되더라도 모델 추론과 네트워크, 데이터 저장이 병목으로 남을 수 있다. 하나의 HTML 파일로 프레젠테이션을 간편하게 공유할 수 있어도 기존 문서 형식과의 호환성이나 브라우저별 성능 문제는 별도로 검토해야 한다.

새로운 기술을 도입할 때는 최고 성능 수치보다 실제 운영 환경에서 얼마나 안정적으로 작동하는지, 기존 시스템과 어떤 방식으로 연결되는지를 함께 확인하는 것이 중요하다.