13년 된 Xeon으로 Gemma 4 구동 · Hacker News가 주목한 실용 기술들

이미지 출처: Pixabay / 작가: ddgarton

최근 Hacker News에서는 오래된 서버용 CPU를 활용한 대규모 언어 모델 구동 사례를 비롯해 오픈 가중치 AI 모델, 초고속 압축 기술, 코딩 에이전트용 메모리 도구 등 다양한 기술 프로젝트가 관심을 받았습니다.

각 프로젝트의 분야는 서로 다르지만, 고가의 전용 장비나 폐쇄형 플랫폼에 의존하지 않고 기존 하드웨어와 오픈 기술을 효율적으로 활용하려는 흐름이 공통적으로 나타났습니다.

13년 된 Xeon에서 Gemma 4 26B 구동

가장 주목받은 사례 중 하나는 GPU 없이 약 13년 된 Intel Xeon 프로세서만으로 Google의 Gemma 4 26B 모델을 초당 약 5토큰 속도로 실행한 실험입니다.

해당 개발자는 오래된 Xeon 기반 서버와 대용량 시스템 메모리를 사용해 모델을 구동했습니다. GPU 가속 없이도 일반적인 사람이 글을 읽는 속도에 가까운 생성 성능을 기록했다는 점에서 관심을 모았습니다.

다만 이 결과를 모든 오래된 Xeon 시스템에서 그대로 재현할 수 있는 것은 아닙니다.

실험에는 모델의 정밀도를 낮춰 메모리 사용량을 줄이는 4비트 양자화와 Gemma의 모델 구조에 최적화된 ik_llama.cpp 포크, 여러 CPU 최적화 설정이 사용됐습니다. 충분한 메모리 용량과 메모리 대역폭도 필요합니다.

따라서 이번 사례는 대규모 모델이 일반 CPU에서도 아무런 최적화 없이 원활하게 실행된다는 의미라기보다, 적절한 양자화와 소프트웨어 최적화를 적용하면 오래된 서버 장비도 로컬 AI 추론에 활용할 수 있음을 보여준 실험으로 보는 것이 정확합니다.

Thinking Machines Lab, 오픈 가중치 모델 Inkling 공개

Mira Murati가 설립한 Thinking Machines Lab은 첫 번째 범용 오픈 가중치 모델인 Inkling을 공개했습니다.

Inkling은 모델 가중치를 내려받아 자체 환경에서 실행하거나 목적에 맞게 조정할 수 있도록 제공됩니다. 전체 매개변수는 약 9천750억 개이며, 작업마다 일부 매개변수만 활성화하는 혼합 전문가 모델 구조를 사용합니다.

오픈 가중치 모델은 API를 통해서만 이용하는 폐쇄형 모델과 달리, 기업이나 연구자가 모델을 자체 인프라에 배치하고 추가 학습할 수 있다는 장점이 있습니다.

다만 오픈 가중치는 모델의 학습 데이터와 전체 학습 과정, 소스 코드가 모두 공개된 완전한 오픈소스와는 다른 개념입니다. Inkling 역시 ‘오픈소스 모델’보다는 ‘오픈 가중치 모델’로 표현하는 편이 정확합니다.

Grok Build 오픈소스 공개는 공식 확인 어려워

일부 게시물에서는 xAI의 코딩 에이전트인 Grok Build가 오픈소스로 공개됐다는 내용이 공유됐습니다.

그러나 현재 확인 가능한 xAI 공식 GitHub 조직에서는 Grok-1 모델과 X의 추천 알고리즘, Grok API 예제 저장소 등은 확인되지만, Grok Build라는 이름의 공식 공개 저장소는 찾기 어렵습니다.

따라서 Grok Build가 xAI 공식 GitHub를 통해 오픈소스로 공개됐다고 단정하기보다는, 관련 보도나 비공식 저장소가 언급된 상태라고 표현하는 것이 안전합니다.

공식 저장소와 라이선스가 확인되기 전까지는 오픈소스 공개 여부를 확정된 사실로 다루지 않는 편이 적절합니다.

misa77, 압축보다 빠른 해제에 초점

압축 코덱 misa77도 빠른 압축 해제 성능으로 관심을 받았습니다.

misa77은 데이터를 한 번 압축한 뒤 여러 차례 읽는 ‘write once, read many’ 환경을 목표로 설계된 LZ 계열 코덱입니다. 공식 프로젝트 설명에 따르면 x86과 ARM 환경에서 LZ4보다 약 1.5배에서 3배 빠른 압축 해제 성능을 목표로 합니다.

빠른 압축 해제를 위해 분기 명령을 줄이고 최신 CPU가 명령을 병렬적으로 처리하기 좋은 데이터 형식을 사용합니다.

대신 압축 과정 자체는 느립니다. 따라서 파일을 자주 다시 압축해야 하는 환경보다는 게임 리소스와 데이터 배포, 읽기 중심 데이터베이스처럼 한 번 압축한 데이터를 반복적으로 불러오는 작업에 더 적합합니다.

‘LZ4보다 항상 2배 빠르다’고 단정하기보다는 테스트 데이터와 CPU 환경에 따라 약 1.5배에서 3배의 차이를 보였다고 설명하는 편이 정확합니다.

Deja Vu, 코딩 에이전트의 작업 기록을 메모리로 활용

코딩 에이전트를 위한 오픈소스 메모리 도구 Deja Vu도 Hacker News에서 주목받았습니다.

이 도구는 Claude Code와 Codex, opencode 등이 로컬에 남긴 대화와 작업 기록을 검색 가능한 형태로 정리합니다. 개발자는 이전 세션에서 해결한 오류와 설계 결정, 명령 실행 기록을 다시 찾아 새로운 작업에 활용할 수 있습니다.

여러 컴퓨터 사이의 데이터 동기화에는 별도의 클라우드 서비스 대신 SSH 연결을 사용할 수 있습니다.

이를 통해 민감한 코드와 작업 기록을 외부 메모리 서비스에 업로드하지 않고도, 개인 서버나 개발 장비 사이에서 에이전트의 기록을 공유할 수 있습니다.

다만 ‘AI가 스스로 기억을 형성하는 기술’이라기보다는 기존에 저장된 로컬 작업 로그를 색인하고 검색해 다시 문맥으로 제공하는 도구에 가깝습니다.

텔레그램 데이터센터와 디지털 시계 디자인도 관심

Hacker News 상위권에는 ‘텔레그램 데이터센터의 미스터리’라는 2022년 글도 다시 등장했습니다.

이 글은 텔레그램이 데이터센터의 구체적인 위치와 운영 구조를 제한적으로 공개해 온 점과, 여러 국가에 분산된 인프라의 특징을 분석한 자료입니다.

따라서 최근 새롭게 공개된 텔레그램 데이터센터 기술이라기보다는 과거 글이 다시 커뮤니티의 관심을 받은 사례입니다.

다양한 디지털 시계의 화면 디자인을 모아 놓은 프로젝트도 함께 상위권에 올랐습니다. 해당 사이트는 여러 형태의 디지털 시계 인터페이스를 직접 살펴볼 수 있도록 구성된 디자인 모음에 가깝습니다.

두 항목은 AI나 오픈소스 인프라와 직접적인 연관성은 크지 않지만, 당시 Hacker News 이용자들이 관심을 보인 기술·디자인 자료라는 공통점이 있습니다.

고성능보다 실용적 효율성에 주목

이번에 관심을 받은 프로젝트들은 무조건 더 큰 모델이나 더 강력한 하드웨어를 사용하는 대신, 현재 이용할 수 있는 자원을 얼마나 효율적으로 활용할 수 있는지를 보여줍니다.

오래된 CPU에서 실행되는 양자화 모델과 빠른 압축 해제 코덱, 로컬 로그를 활용하는 코딩 에이전트 메모리는 모두 실제 운영 비용과 개인정보 보호, 기존 장비의 재활용 가능성을 중요하게 다룹니다.

Inkling과 같은 대규모 오픈 가중치 모델의 등장은 개발자가 자체 인프라에서 AI를 실행하고 조정할 수 있는 선택지도 넓히고 있습니다.

다만 개인이 공개한 성능 실험은 하드웨어와 양자화 방식, 소프트웨어 설정에 따라 결과가 크게 달라질 수 있습니다. 특정 수치를 모든 환경에 적용할 수 있는 일반적인 성능으로 해석하기보다는, 기술적 가능성을 보여주는 사례로 받아들이는 것이 적절합니다.