덩치는 24B, 활성은 2B? Liquid AI 최신 MoE 추론 모델 LFM2.5-24B-A2B 파헤치기
로컬 LLM 환경에서 고성능 모델을 효율적으로 돌리고 싶어 하는 개발자분들이라면 주목해야 할 소식이 있어요. Liquid AI에서 최근 대형 오픈웨이트 모델인 LFM2.5-24B-A2B를 공식 공개했더라고요.
기존의 거대언어모델(LLM)들은 성능을 높이려면 하드웨어 사양도 함께 높아져야 하는 부담이 있었는데요, 이번에 나온 모델은 이러한 한계를 어떻게 극복했는지 아키텍처적 특징과 온디바이스 에이전트로서의 가능성을 함께 살펴볼게요.
1. 24B의 지식 용량과 2B의 가벼움을 동시에, MoE 아키텍처의 비밀
이번에 공개된 LFM2.5-24B-A2B 모델은 이름에서 유추할 수 있듯 총 240억(24B) 파라미터를 가진 대형 모델이에요. LFM2.5 패밀리의 가장 크고 마지막 모델이기도 한데요.
핵심은 Mixture-of-Experts(MoE) 구조를 채택해, 토큰을 처리할 때 실제로 활성화되는 파라미터는 약 2B~2.45B 수준으로 극도로 낮췄다는 점이에요.
- 지식 용량은 24B급: 방대한 데이터 학습량을 유지하여 복잡한 맥락을 이해하고 지식을 활용하는 능력을 그대로 가져갔어요.
- 인퍼런스 비용은 2B급: 실제 연산 시에는 적은 수의 파라미터만 활성화하기 때문에, 로컬 환경이나 온디바이스에서 구동할 때 하드웨어 부하를 대폭 줄여주더라고요.
여기에 131K(131,072) 토큰에 달하는 넓은 컨텍스트 윈도우를 지원해서 긴 문서나 코드베이스를 한 번에 처리하는 데도 유리해요.
2. 복잡한 작업에 최적화된 순수 추론(Reasoning) 모델
LFM2.5-24B-A2B는 단순 답변 출력을 넘어, 답변을 생성하기 전에 내부적으로 <think> 블록을 거치는 순수 추론 모델이에요.
기술 매체나 전문가들의 분석에 따르면, 이 모델은 특히 에이전트 도구 호출(tool calling)과 멀티스텝 작업에 매우 최적화되어 있다고 해요. 복잡한 프롬프트를 단계별로 나누어 해결해야 하는 에이전트 워크플로우에서 뛰어난 성능을 발휘한다는 평가를 받고 있어요.
다만, 추론 과정에서 토큰을 많이 소비하는 특성이 있기 때문에, 실제 구동 환경에서 인퍼런스 효율성을 어떻게 관리하느냐가 중요한 포인트로 꼽히고 있어요.
3. 로컬 유저들의 반응과 다양한 배포 포맷
Reddit의 r/LocalLLaMA 같은 커뮤니티를 보면, 로컬 맥북이나 단일 GPU 환경에서 이 모델을 원활하게 돌릴 수 있을지에 대한 관심이 정말 뜨거워요.
개발자들과 유튜버들은 Qwen, Gemma 같은 기존 오픈웨이트 모델들과 직접 벤치마크를 돌려보며 실사용 후기를 공유하고 있는데요. Safetensors, FP8, GGUF, ONNX, MLX 4-bit 등 다양한 포맷으로 배포되어 각자의 개발 환경에 맞춰 선택할 수 있는 폭이 넓어졌어요.
자주 묻는 질문 (FAQ)
Q. 24B 모델을 16GB 이하의 일반 소비자용 로컬 환경에서 구동할 때 실제 체감 속도와 메모리 점유율은 얼마나 되나요?
A. MoE 구조를 통해 활성화 파라미터를 2B 수준으로 낮추어 로컬 구동 가능성을 열어두었으나, 구체적인 체감 속도와 메모리 점유율은 사용하는 양자화 방식(GGUF, MLX 등)과 하드웨어의 VRAM·RAM 용량에 따라 달라질 수 있습니다.
Q. 양자화(GGUF, MLX 4-bit 등)를 거쳤을 때 추론(Reasoning) 성능의 저하 폭은 어느 정도인가요?
A. 다양한 포맷을 지원하여 선택지가 넓어졌지만, 양자화 수준에 따른 추론( 블록의 정확도 및 논리 전개 능력) 성능 저하 폭에 대해서는 실제 사용자들의 벤치마크 테스트와 검증이 지속적으로 이루어지고 있는 단계입니다.
마치며
Liquid AI의 LFM2.5-24B-A2B는 덩치 큰 모델의 지식과 가벼운 모델의 속도를 절묘하게 결합한 흥미로운 MoE 추론 모델이에요. 온디바이스 에이전트 구축에 관심이 많으셨다면 지금이 바로 테스트해보기 좋은 타이밍인데요.
Hugging Face나 다양한 포맷을 통해 모델을 다운로드할 수 있으니, 로컬 에이전트 환경에 직접 연동해서 성능을 체감해 보시는 걸 추천해 드릴게요!
