TORIS AI / JOURNAL

[태그:] 1bit-llm

기술을 읽고, 가능성을 살펴봅니다.

글 목록

최신순

bitnet.cpp 정리: GPU 없이 CPU만으로 1비트 LLM을 돌리는 공식 추론 엔진

GPU가 없으면 큰 언어모델은 남의 서버에서 빌려 써야 한다는 전제는 꽤 오래 유지됐습니다. 7B급 모델만 해도 FP16 기준 14GB 안팎의 메모리가 필요하고, 이걸 GPU에 올리지 못하면 CPU에서는 토큰이 눈에 띄게 느려집니다. 전력과 발열, 그리고 대화 내용과 모델을 외부로 보내야 한다는 부담까지 겹치면 “내 컴퓨터에서 돌린다”는 선택지는 현실적으로 사라집니다. bitnet.cpp는 이 전제를 정면으로 건드리는 마이크로소프트의 공식 […]

글 읽기 : bitnet.cpp 정리: GPU 없이 CPU만으로 1비트 LLM을 돌리는 공식 추론 엔진