TORIS AI / JOURNAL

[태그:] local-ai

기술을 읽고, 가능성을 살펴봅니다.

글 목록

최신순

FreeVideo 정리: 8GB VRAM PC에서 MiniMax H3 영상을 로컬로 돌리는 방법 (v0.6.6)

핵심 요약 무엇인가: FreeVideo는 MiniMax H3 영상 모델을 내 PC에서 돌리는 오픈소스 로컬 추론 엔진입니다. 최소 사양: 8GB VRAM과 16GB RAM. GPU를 보고 int8·FP8 경로를 자동으로 고릅니다. 최신 버전: v0.6.6(2026년 11월 20일 UTC). MOSS-Image 레이아웃 박스, 12GB 카드 1024픽셀 가속, Composition only, MP3 패스스루가 추가됐습니다. 설치: Windows·macOS·Linux 런처 또는 기존 ComfyUI 커스텀 노드. 주의: 코드는 […]

글 읽기 : FreeVideo 정리: 8GB VRAM PC에서 MiniMax H3 영상을 로컬로 돌리는 방법 (v0.6.6)

bitnet.cpp 정리: GPU 없이 CPU만으로 1비트 LLM을 돌리는 공식 추론 엔진

GPU가 없으면 큰 언어모델은 남의 서버에서 빌려 써야 한다는 전제는 꽤 오래 유지됐습니다. 7B급 모델만 해도 FP16 기준 14GB 안팎의 메모리가 필요하고, 이걸 GPU에 올리지 못하면 CPU에서는 토큰이 눈에 띄게 느려집니다. 전력과 발열, 그리고 대화 내용과 모델을 외부로 보내야 한다는 부담까지 겹치면 “내 컴퓨터에서 돌린다”는 선택지는 현실적으로 사라집니다. bitnet.cpp는 이 전제를 정면으로 건드리는 마이크로소프트의 공식 […]

글 읽기 : bitnet.cpp 정리: GPU 없이 CPU만으로 1비트 LLM을 돌리는 공식 추론 엔진