기업 내부 문서, 소스코드, 생산정보와 고객자료를 외부 AI 서비스로 보내지 않고 활용하려면 LLM을 사내 PC나 서버에 직접 구축할 수 있습니다.

이를 일반적으로 로컬 LLM, 온프레미스 LLM 또는 사내 생성형 AI 서버라고 부릅니다.

사용자 질문
→ 사내 AI 서버
→ 로컬 LLM 실행
→ 필요 시 사내 문서 검색
→ 답변 생성

로컬 서버를 구축하면 데이터 통제와 사용자별 권한관리에는 유리하지만, GPU와 메모리 비용, 모델 업데이트, 응답 품질 및 운영관리를 직접 책임져야 합니다.

이번 글에서는 로컬 LLM 구축에 필요한 하드웨어, 모델 크기별 권장 사양, 대표적인 공개 모델군, RAG 구성과 기업용 권장안을 함께 정리하겠습니다.

1. 먼저 알아야 할 용어

로컬 LLM

인터넷의 외부 AI API를 호출하지 않고 자신의 PC나 사내 서버에서 직접 실행하는 언어모델입니다.

오픈 웨이트 모델

학습된 모델의 가중치를 내려받아 자체 서버에서 실행할 수 있는 모델입니다.

많은 사람이 이를 ‘무료 LLM’ 또는 ‘오픈소스 LLM’이라고 부르지만, 정확히는 모델마다 다음 조건이 다릅니다.

가중치 공개 여부
소스코드 공개 여부
상업적 사용 가능 여부
재배포 가능 여부
파생 모델 배포 조건
사용자 규모에 따른 제한
금지된 사용 목적

따라서 무료로 다운로드할 수 있다고 해서 모든 용도로 자유롭게 사용할 수 있는 것은 아닙니다.

Qwen3의 공개 모델은 Apache 2.0으로 제공되지만, Llama 4는 Meta의 별도 커뮤니티 라이선스를 사용합니다. Mistral도 모델에 따라 Apache 2.0 또는 별도 라이선스가 적용됩니다.

2. 로컬 LLM 시스템의 기본 구성

실제 기업용 로컬 AI는 모델 하나만 설치한다고 완성되지 않습니다.

사용자 화면
+ 인증·권한
+ LLM 추론 서버
+ 임베딩 모델
+ 벡터 데이터베이스
+ 사내 문서 저장소
+ 로그·모니터링
+ 백업

주요 구성요소

LLM 추론 서버

질문을 받아 답변을 생성합니다.

대표 실행도구:

Ollama
vLLM
llama.cpp
LM Studio
TensorRT-LLM
Hugging Face TGI

Mistral은 자체 배포용 추론엔진으로 vLLM을 권장하며, vLLM은 OpenAI 호환 API 형태로 모델을 서비스할 수 있습니다.

임베딩 모델

문서와 질문을 숫자 벡터로 변환합니다.

벡터 데이터베이스

질문과 의미가 비슷한 문서 조각을 검색합니다.

대표 제품:

Qdrant
Milvus
Weaviate
Chroma
PostgreSQL + pgvector
Elasticsearch

RAG 서버

검색한 사내 문서를 LLM에 전달해 회사 자료를 근거로 답변하도록 합니다.

사용자 프로그램

웹, Windows 프로그램, 모바일 앱 또는 기존 ERP·MES 화면에서 질문을 입력합니다.

3. 하드웨어에서 가장 중요한 것은 GPU 메모리

로컬 LLM 서버에서 가장 중요한 자원은 GPU의 연산성능보다 먼저 VRAM, 즉 GPU 메모리 용량입니다.

모델이 GPU 메모리에 들어가지 않으면 다음 방식으로 실행해야 합니다.

일부 레이어를 CPU 메모리로 이동
모델을 여러 GPU에 분산
더 낮은 정밀도로 양자화
컨텍스트 길이 축소
더 작은 모델 사용

CPU로도 LLM을 실행할 수 있지만 GPU보다 응답속도가 크게 느려집니다. Mistral도 CPU 오프로딩은 가능하지만 상당히 느리다고 설명합니다.

4. 모델 메모리 계산 방법

모델 가중치만 단순 계산하면 다음과 같습니다.

정밀도파라미터당 메모리8B 모델 예시

FP32	약 4바이트	약 32GB
FP16·BF16	약 2바이트	약 16GB
INT8	약 1바이트	약 8GB
4비트	약 0.5바이트	약 4GB

하지만 실제 실행에는 추가 메모리가 필요합니다.

실제 필요 메모리
= 모델 가중치
+ KV 캐시
+ 실행엔진 메모리
+ 입력·출력 버퍼
+ 동시 사용자 여유

따라서 8B 4비트 모델 파일이 약 5GB라고 해서 VRAM 5GB에서 항상 안정적으로 실행되는 것은 아닙니다.

일반적으로 모델 파일 크기보다 20~50% 정도 여유를 두는 것이 좋으며, 긴 문맥과 여러 동시 사용자를 지원하려면 더 많은 메모리가 필요합니다.

5. 컨텍스트 길이가 메모리에 미치는 영향

컨텍스트는 모델이 한 번에 기억하고 처리할 수 있는 입력 분량입니다.

예:

이전 대화
시스템 지시문
검색된 사내 문서
사용자의 질문
생성 중인 답변

컨텍스트를 8K에서 32K, 64K, 128K로 늘리면 KV 캐시가 커지면서 GPU 메모리 사용량도 증가합니다.

따라서 모델이 공식적으로 128K를 지원하더라도 실제 서버에서는 다음처럼 제한할 수 있습니다.

개인용 질의응답
→ 8K~16K

일반 사내 RAG
→ 16K~32K

긴 문서·코딩 에이전트
→ 32K~64K

대규모 문서 분석
→ 64K 이상

Mistral은 24B 코딩 모델을 24GB VRAM에서 4비트·32K 컨텍스트로 실행할 수 있다고 안내하면서, 128K 수준의 긴 문맥에서는 A100이나 H100급 구성을 권장합니다.

6. 모델 크기별 현실적인 권장 사양

아래 표는 주로 4비트 양자화 모델을 1명 또는 소수 사용자가 실행하는 경우의 실무적인 범위입니다.

모델 규모권장 VRAM권장 시스템 RAM주요 용도

1B~3B	4~6GB	16GB	분류·요약·간단한 챗봇
4B~8B	8~12GB	32GB	개인 AI·간단한 RAG
12B~14B	12~16GB	32~64GB	사내 문서검색·업무지원
20B~24B	20~24GB	64GB	코딩·고급 RAG·에이전트
27B~32B	24~32GB	64~128GB	고품질 사내 AI
70B급	48~80GB	128GB 이상	전문 추론·다중 GPU
100B 이상	80GB 이상 또는 다중 GPU	256GB 이상	기업·연구용 클러스터

이는 모델 가중치뿐 아니라 컨텍스트, 실행엔진, 동시 사용자에 따라 달라지는 대략적인 기준입니다.

7. GPU가 없는 CPU 서버 구성

GPU 없이도 3B~14B 정도의 양자화 모델은 실행할 수 있습니다.

최소 구성

CPU: 8코어 이상
RAM: 32GB
저장장치: NVMe SSD 1TB
모델: 3B~8B Q4
동시 사용자: 1명
용도: 시험·개발·저빈도 문서검색

권장 CPU 서버

CPU: 16~32코어
RAM: 64~128GB
저장장치: NVMe SSD 2TB
모델: 8B~32B Q4
동시 사용자: 소수
용도: 야간 분석, 배치 요약, 속도가 중요하지 않은 업무

CPU 서버는 초기 실험에는 사용할 수 있지만 실시간 챗봇으로 사용하면 첫 응답과 생성속도가 답답할 수 있습니다.

8. 개인 개발용 PC 권장 구성

기본형

CPU: 최근 6~8코어
RAM: 32GB
GPU: NVIDIA 8~12GB
SSD: NVMe 1TB
모델: 4B~8B
실행도구: Ollama 또는 LM Studio

가능한 작업:

로컬 채팅
간단한 문서 RAG
Python·C# 코드 보조
텍스트 분류
요약
프롬프트 시험

중급형

CPU: 8~16코어
RAM: 64GB
GPU: 16~24GB
SSD: NVMe 2TB
모델: 12B~24B 또는 일부 32B Q4
실행도구: Ollama·llama.cpp·vLLM

가능한 작업:

사내 문서검색
코딩 에이전트
긴 보고서 요약
OCR 결과 정리
MES·DMS용 AI 기능개발
소규모 다중 사용자

고급형

CPU: 16코어 이상
RAM: 128GB
GPU: 24~32GB 이상
SSD: NVMe 2~4TB
모델: 24B~32B 중심
필요 시 GPU 2장

가능한 작업:

고품질 RAG
소스코드 저장소 분석
다중 에이전트
이미지·문서 멀티모달 분석
개발팀 공동 사용

9. 기업용 서버 권장 구성

소규모 부서용

사용자 5명 내외, 동시질의 1~2명 기준입니다.

CPU: 서버급 16코어 이상
RAM: 128GB
GPU: VRAM 24GB 1장
NVMe SSD: 2TB 이상
백업 저장소: 4TB 이상
모델: 8B~24B Q4
컨텍스트: 16K~32K
실행: Ollama 또는 vLLM
RAG: Qdrant 또는 PostgreSQL pgvector

중소기업 공용

사용자 20~50명, 동시질의 3~10명 정도를 고려합니다.

CPU: 24~32코어
RAM: 256GB
GPU: 48GB 1장 또는 24GB 2장
NVMe SSD: 4TB
문서 저장소: NAS 별도
모델: 14B~32B
실행: vLLM
프록시: Nginx
인증: 사내 사용자·SSO 연계
모니터링: Prometheus·Grafana 등

중견기업·전문 AI 서버

CPU: 듀얼 서버 CPU
RAM: 512GB 이상
GPU: 80GB급 2~4장 이상
NVMe SSD: 8TB 이상
모델: 70B·MoE·멀티모달
Kubernetes 또는 다중 서버
추론 서버 이중화
문서·모델 저장소 분리
사용자별 사용량·보안 감사

Mistral은 로컬 배포 구성이 RTX 4090 한 장부터 대형 모델용 4개 이상의 H100 클러스터까지 확장될 수 있다고 설명합니다.

10. 대표적인 무료·공개 LLM 모델군

10.1 Qwen3

Qwen3는 다양한 크기의 Dense 모델과 MoE 모델을 제공해 개인 PC부터 서버까지 선택 폭이 넓습니다.

공개 모델:

Qwen3 0.6B
Qwen3 1.7B
Qwen3 4B
Qwen3 8B
Qwen3 14B
Qwen3 32B
Qwen3 30B-A3B
Qwen3 235B-A22B

Qwen3의 Dense 모델은 0.6B부터 32B까지 제공되며, 8B 이상 모델은 최대 128K 컨텍스트를 지원합니다. 공개 모델은 Apache 2.0으로 배포됐습니다.

권장 하드웨어

모델권장 VRAM·메모리추천 용도

0.6B·1.7B	4GB 내외	분류·간단한 자동화
4B	6~8GB	개인 챗봇
8B	10~12GB	한국어·RAG 입문
14B	16~20GB	사내 질의응답
32B	24~32GB	고급 업무지원
30B-A3B	24GB 이상	효율적인 MoE 추론
235B-A22B	다중 고성능 GPU	기업·연구용

장점

한국어를 포함한 다국어 활용
작은 모델부터 대형 모델까지 다양함
도구 호출과 추론 활용
Apache 2.0
Ollama·vLLM 지원

10.2 Gemma

Google의 Gemma 모델군은 비교적 작은 크기에서도 효율적으로 동작하는 공개 모델입니다.

Gemma 3 구성:

Gemma 3는 4B·12B·27B 모델에서 이미지와 텍스트 입력을 지원하고, 큰 모델은 최대 128K 컨텍스트와 140여 개 언어를 지원합니다.

권장 하드웨어

모델권장 VRAM추천 용도

1B	4GB	경량 분류·엣지
4B	6~8GB	문서요약·간단한 이미지 분석
12B	12~16GB	사내 RAG·멀티모달
27B	24GB 이상	고품질 문서·이미지 분석

장점

소형 모델 효율
이미지 입력
긴 문맥
다양한 언어
구조화 출력과 함수 호출
일반 PC에서 시작하기 쉬움

10.3 Mistral·Ministral

Mistral은 개인용 소형 모델부터 기업용 MoE 모델, 코딩 전용 모델까지 다양한 공개 모델을 제공합니다.

현재 공개 계열에는 Ministral 3B·8B·14B, Mistral Small 계열, Magistral Small과 Devstral 등이 포함됩니다. Mistral Small 4는 119B 전체 파라미터 중 6.5B가 활성화되는 MoE 모델이며 Apache 2.0으로 제공됩니다.

주요 선택

Ministral 3B·8B

경량 챗봇
엣지·개인 서버
간단한 RAG
빠른 응답

Ministral 14B

사내 문서검색
멀티모달 업무지원
중급 서버

Devstral Small 24B

소프트웨어 개발
저장소 분석
코딩 에이전트
파일 수정·테스트

Mistral은 Devstral Small 24B를 에이전트형 코딩에 맞춘 모델로 소개하며, 24GB GPU에서 4비트와 약 32K 컨텍스트 구성을 현실적인 로컬 환경으로 제시합니다.

Mistral Small 4

추론
코딩
일반 업무
멀티모달
서버급 구축

MoE 모델은 한 번에 활성화되는 파라미터가 적더라도 전체 가중치를 메모리에 올려야 하므로 ‘활성 파라미터가 작다’는 이유만으로 작은 GPU에서 실행되는 것은 아닙니다.

10.4 Llama

Meta의 Llama는 로컬 LLM 생태계에서 널리 지원되는 대표 모델군입니다.

대표 구성:

Llama 3.2: 1B·3B
Llama 3.2 Vision: 11B·90B
Llama 3.3: 70B
Llama 4 Scout
Llama 4 Maverick

Llama 4 Scout는 전체 109B 중 17B 활성 파라미터를, Maverick은 전체 400B 중 17B 활성 파라미터를 사용하는 MoE 모델입니다. 각각 최대 10M과 1M 컨텍스트를 지원하지만, Llama 전용 커뮤니티 라이선스를 확인해야 합니다.

현실적인 로컬 선택

모델권장 환경용도

Llama 3.2 1B	RAM 8~16GB	경량·모바일
Llama 3.2 3B	VRAM 4~6GB	간단한 챗봇
Llama 3.1 8B	VRAM 8~12GB	일반 RAG
Llama 3.3 70B	VRAM 48~80GB	고품질 추론
Llama 4 Scout	서버급 다중 GPU	장문·멀티모달
Llama 4 Maverick	고성능 GPU 서버	기업·연구용

Meta의 공식 실행 예시는 Llama 4를 BF16으로 실행할 때 최소 4개 GPU를 사용하는 구성을 제시합니다. Scout는 실행 중 INT4 양자화를 적용하면 단일 H100급 GPU에도 적재할 수 있다고 설명합니다.

개인이나 중소기업은 Llama 4보다 Llama 3.x의 8B·70B 양자화 모델이 현실적일 수 있습니다.

10.5 DeepSeek-R1 계열

DeepSeek-R1은 수학, 논리와 코딩 등 추론에 특화된 모델입니다.

원본 모델은 매우 크기 때문에 일반 PC보다는 작은 Distill 모델을 사용하는 것이 현실적입니다.

대표 Distill 크기:

1.5B
7B
8B
14B
32B
70B

DeepSeek는 R1과 Distill 모델을 MIT 라이선스로 공개했으며, 32B와 70B Distill 모델도 함께 제공했습니다.

권장 하드웨어

모델권장 VRAM용도

1.5B	4GB	간단한 추론
7B·8B	8~12GB	개인 연구·코딩
14B	16GB	업무 추론
32B	24~32GB	고급 분석
70B	48~80GB	전문 추론

장점

단계적 추론
수학과 코딩
복잡한 문제분석
공개 라이선스

주의점

추론모델은 답변이 길어지고 토큰을 많이 사용하므로 일반 대화형 모델보다 느릴 수 있습니다. 모든 질문에 추론모델을 사용하기보다 복잡한 분석에만 분리해서 사용하는 것이 좋습니다.

11. 용도별 모델 추천

일반 사내 챗봇

추천:

Qwen3 8B·14B
Gemma 4B·12B
Ministral 8B·14B
Llama 3.1 8B

권장 GPU:

12~16GB

사내 문서 RAG

추천:

Qwen3 14B
Gemma 12B
Mistral·Ministral 14B
24B급 모델

권장 GPU:

16~24GB

코딩 지원

추천:

Devstral Small 24B
Qwen 코딩 계열
DeepSeek Distill 14B·32B

권장 GPU:

최소 16GB
권장 24GB 이상

이미지·문서 분석

추천:

Gemma 멀티모달
Llama Vision
Mistral 멀티모달 계열

권장 GPU:

16~24GB 이상

고급 추론

추천:

DeepSeek-R1 Distill 32B·70B
Mistral 추론 계열
Qwen3 32B

권장 GPU:

24~80GB

소형 엣지·개인 PC

추천:

Qwen3 1.7B·4B
Gemma 1B·4B
Llama 3.2 1B·3B
Ministral 3B

권장 메모리:

RAM 16GB
GPU 4~8GB

12. Ollama로 가장 쉽게 구축하는 방법

Ollama는 Windows, Linux와 macOS에서 공개 모델을 쉽게 내려받고 실행할 수 있는 도구입니다.

Windows 버전은 GPU 가속과 로컬 API를 지원하며 기본 API 주소는 다음과 같습니다.

http://localhost:11434

기본 설치 후 모델 실행

ollama pull qwen3:8b
ollama run qwen3:8b

설치된 모델 확인

ollama list

서버 상태 확인

curl http://localhost:11434/api/tags

Python에서 호출

import ollama


response = ollama.chat(
    model="qwen3:8b",
    messages=[
        {
            "role": "user",
            "content": "MES 작업지시와 생산실적의 차이를 설명해줘.",
        }
    ],
)

print(response["message"]["content"])

Ollama는 REST API와 OpenAI 호환 API를 제공해 Python, C#과 기존 업무시스템에서 연결할 수 있습니다.

13. C# 프로그램에서 연결하는 구조

서길성 님이 개발하는 WinForms·MES·DMS에는 다음 구조가 적합합니다.

C# WinForms
→ 사내 AI API
→ Ollama 또는 vLLM
→ 로컬 LLM

OpenAI 호환 API 예시

using System.Net.Http.Headers;
using System.Text;
using System.Text.Json;

public static async Task<string> AskLocalLlmAsync(
    string question,
    CancellationToken cancellationToken = default)
{
    using var client = new HttpClient
    {
        BaseAddress = new Uri("http://localhost:11434")
    };

    client.DefaultRequestHeaders.Authorization =
        new AuthenticationHeaderValue("Bearer", "ollama");

    var request = new
    {
        model = "qwen3:8b",
        messages = new[]
        {
            new
            {
                role = "user",
                content = question
            }
        },
        stream = false
    };

    using var content = new StringContent(
        JsonSerializer.Serialize(request),
        Encoding.UTF8,
        "application/json");

    using var response = await client.PostAsync(
        "/v1/chat/completions",
        content,
        cancellationToken);

    response.EnsureSuccessStatusCode();

    var json = await response.Content.ReadAsStringAsync(cancellationToken);
    using var document = JsonDocument.Parse(json);

    return document.RootElement
        .GetProperty("choices")[0]
        .GetProperty("message")
        .GetProperty("content")
        .GetString() ?? string.Empty;
}

실제 운영에서는 타임아웃, 재시도, 인증, 사용이력과 개인정보 필터링을 추가해야 합니다.

14. RAG를 추가한 사내 문서검색

LLM만 설치하면 회사 내부 문서를 알지 못합니다.

사내 문서를 기반으로 답하려면 RAG를 추가해야 합니다.

사용자 질문
→ 질문 임베딩
→ 벡터DB에서 관련 문서 검색
→ 검색 결과와 질문을 LLM에 전달
→ 근거 기반 답변

문서 처리 단계

PDF·Word·한글·엑셀 문서 수집
텍스트 추출
문서를 일정 크기로 분할
각 조각에 임베딩 생성
벡터DB 저장
질문과 유사한 문서 검색
검색된 문서만 LLM에 전달
원문 출처와 함께 답변 표시

RAG 서버 권장 구성

Python FastAPI
Ollama 또는 vLLM
임베딩 모델
Qdrant 또는 PostgreSQL pgvector
문서 원본 NAS
사용자·부서별 권한검사
답변 출처 표시

Ollama는 로컬 임베딩 모델과 API를 지원하므로 문서검색형 RAG 애플리케이션에도 사용할 수 있습니다.

15. RAG용 추가 하드웨어

RAG 자체는 LLM만큼 큰 GPU가 필요한 것은 아닙니다.

소규모

CPU: 8코어
RAM: 32GB
NVMe: 1TB
문서: 수만 건
벡터DB: PostgreSQL·Qdrant

중간 규모

CPU: 16코어 이상
RAM: 64~128GB
NVMe: 2~4TB
문서: 수십만 건
NAS: 별도 구성
벡터DB: Qdrant·Milvus

문서 OCR, PDF 변환과 임베딩 생성은 초기 구축 때 많은 시간이 걸릴 수 있으므로 LLM 서비스와 문서 색인 작업을 분리하는 것이 좋습니다.

16. 동시 사용자와 서버 용량

한 명이 사용하는 것과 20명이 동시에 사용하는 것은 요구 사양이 크게 다릅니다.

동시 사용자가 늘어나면 증가하는 항목

KV 캐시
GPU 메모리
요청 대기열
CPU 사용량
응답 지연
로그 저장량

권장 운영방식

질문 요청
→ 대기열
→ 추론 서버
→ 스트리밍 답변

vLLM은 여러 요청을 배치 처리하는 서버용 환경에 적합하고, Ollama는 개인·개발·소규모 구축에 간편합니다.

대략적인 선택

환경실행도구

개인 PC	Ollama·LM Studio
개발 서버	Ollama·llama.cpp
부서 공용	vLLM
기업 공용	vLLM·TGI·TensorRT-LLM
다중 GPU	vLLM·TensorRT-LLM

17. 서버 운영체제

Windows

장점:

설치가 쉬움
C#·WinForms 개발환경과 연계 편리
개인 또는 시험용에 적합

권장:

Ollama
LM Studio
Docker Desktop은 보조적으로 사용

Ubuntu Linux

장점:

NVIDIA GPU 서버 운영에 유리
Docker와 vLLM 사용이 편리
자동 시작과 모니터링 구성
다중 GPU 지원
기업 서버에 적합

권장:

Ubuntu Server
NVIDIA Driver
CUDA
Docker
NVIDIA Container Toolkit
vLLM 또는 Ollama

18. 저장장치 용량

모델은 하나만 설치해도 수GB에서 수백GB를 차지할 수 있습니다.

권장 용량

용도SSD 권장

개인 시험	1TB
개발 서버	2TB
사내 공용	4TB
여러 대형 모델	8TB 이상

SSD는 일반 SATA보다 NVMe가 좋습니다.

저장공간에는 다음이 포함됩니다.

모델 원본
양자화 모델
임베딩 모델
벡터DB
업로드 문서
로그
백업
새 모델 시험본

19. 로컬 LLM 구축 시 보안

로컬이라고 자동으로 안전한 것은 아닙니다.

필수 보안항목

AI 서버 외부 인터넷 공개 금지
방화벽으로 접근 IP 제한
사용자 인증
부서·문서 권한 연계
질문과 답변 로그
민감정보 마스킹
모델 API 인증키
관리자 기능 분리
문서 원본 암호화
백업
보존기간 설정
외부 플러그인 통신 확인

Mistral은 완전한 오프라인 운영이 목적이라면 텔레메트리와 자동업데이트를 끄고, 외부 MCP·커넥터와 도구도 별도로 확인해야 한다고 안내합니다.

20. 로컬 LLM의 장점

데이터 통제

질문과 사내 문서를 내부망에 유지할 수 있습니다.

API 사용료 절감

사용량이 많아도 토큰당 외부 API 요금은 발생하지 않습니다.

자체 기능 개발

사내 문서검색
업무용 도구 호출
ERP·MES 연계
자체 프롬프트
파인튜닝
모델 교체

오프라인 운영

인터넷이 제한된 공장이나 연구소에서도 사용할 수 있습니다.

21. 로컬 LLM의 단점

초기 하드웨어 비용

24GB 이상의 GPU 서버는 비용과 전력소모가 큽니다.

외부 최고급 모델보다 낮은 품질

소형 공개 모델은 복잡한 추론과 최신 정보에서 클라우드 최상위 모델보다 부족할 수 있습니다.

유지관리

모델 업데이트
드라이버
CUDA
라이브러리
보안패치
문서 재색인
품질평가

를 직접 관리해야 합니다.

전기와 냉각

고성능 GPU는 전력과 발열이 큽니다.

정확성 책임

로컬 모델도 환각과 잘못된 답변을 생성할 수 있습니다.

22. 가장 현실적인 구축 단계

1단계: 개인 PC 시험

RAM 32GB
+ GPU 8~12GB
+ Ollama
+ 4B~8B 모델

시험 기능:

일반 대화
보고서 요약
문서 한두 개 질문
Python·C# 연계

2단계: 개발 서버

RAM 64GB
+ GPU 24GB
+ 14B~24B 모델
+ FastAPI
+ 벡터DB

시험 기능:

사내 문서 RAG
사용자별 로그인
출처 표시
MES·DMS 연계

3단계: 부서 적용

RAM 128~256GB
+ GPU 24~48GB
+ vLLM
+ 권한관리
+ 모니터링

4단계: 기업 공용

다중 GPU
+ 이중화
+ 모델 라우팅
+ 문서권한
+ 감사로그
+ 백업·복구

23. 서길성 님의 개발환경에 적합한 권장안

MES Lite, eSafeDMS, FEMS와 Python 서버를 연계한다면 처음부터 대형 모델 서버를 구축할 필요는 없습니다.

권장 개발용 구성

운영체제: Windows 11 또는 Ubuntu
CPU: 12~16코어
RAM: 64GB
GPU: NVIDIA VRAM 24GB
SSD: NVMe 2TB
모델: Qwen3 14B 또는 24B급 코딩 모델
실행: Ollama
API: Python FastAPI
DB: MariaDB
벡터DB: Qdrant 또는 PostgreSQL pgvector
문서저장: Synology NAS

활용 기능

eSafeDMS

문서 요약
문서 자연어 검색
유사 문서 탐색
계약서 항목 추출
작업표준서 질의응답

MES Lite

작업일보 요약
생산실적 분석
불량원인 설명
작업자용 매뉴얼 검색
자연어 조회

FEMS

에너지 사용량 설명
이상 사용량 요약
월간 보고서 초안
절감 대상 설비 추천 보조

개발업무

C# 코드 설명
테스트 시나리오 생성
DB 스키마 검토
사용자 매뉴얼 작성
오류 로그 분석

24. 모델을 하나만 사용하지 않는 구성

업무별로 모델을 나누는 것이 효율적입니다.

간단한 분류·요약
→ 4B 모델

일반 문서검색
→ 8B~14B 모델

복잡한 분석
→ 24B~32B 모델

코딩
→ 코딩 전용 모델

이미지·문서
→ 멀티모달 모델

이를 모델 라우팅이라고 합니다.

작은 모델로 처리할 수 있는 질문까지 큰 모델에 보내지 않으면 응답속도와 동시 사용자 처리량이 좋아집니다.

25. 최종 구성 비교

구성모델하드웨어추천 대상

입문형	3B~4B	RAM 16~32GB	개인 시험
개인 실용형	8B	VRAM 8~12GB	개발자·개인 RAG
업무형	12B~14B	VRAM 16GB	소규모 사내 AI
고급 업무형	24B~32B	VRAM 24~32GB	코딩·DMS·MES
기업형	70B	VRAM 48~80GB	다부서 공용
대형 MoE	100B 이상	다중 GPU	연구·대기업

마무리

로컬 LLM 서버에서 가장 중요한 것은 무조건 큰 모델을 선택하는 것이 아닙니다.

업무 목적
→ 필요한 모델 능력 결정

모델 크기
→ GPU 메모리 결정

컨텍스트와 사용자 수
→ 추가 메모리 결정

사내 문서 활용
→ RAG 구성

기업 적용
→ 인증·권한·로그·백업

개인 또는 개발용이라면 8B 모델과 8~12GB GPU로 시작할 수 있습니다. 사내 문서검색과 실제 업무지원에는 14B급 모델과 16~24GB GPU가 현실적이며, 코딩과 복잡한 분석까지 고려하면 24B~32B 모델과 24GB 이상의 GPU를 권장합니다.

서길성 님의 업무용 시스템 개발환경에는 다음 구성이 가장 균형이 좋습니다.

24GB GPU + RAM 64GB + NVMe 2TB + Ollama + Qwen3 14B 또는 24B급 모델 + Python FastAPI + 벡터DB

초기에는 Ollama로 기능을 검증하고, 사용자와 동시 요청이 늘어나면 vLLM 기반의 Ubuntu 서버로 전환하는 단계적 구축이 적절합니다.

'AI > LLM' 카테고리의 다른 글

파인튜닝이란? LLM을 우리 업무에 맞게 학습시키는 방법 (1)	2026.08.04
RAG란? 사내 문서와 LLM을 연결하는 검색증강생성 완벽 이해 (0)	2026.08.04
Ollama란? 설치·사용법·API·RAG 구축까지 완벽 정리 (0)	2026.08.04
무료 LLM이란? Meta·OpenAI 등 공개형 AI 모델 비교 (0)	2026.08.03
Transformer란? LLM을 만든 핵심 AI 기술 (0)	2026.08.03

LLM을 로컬 서버에 구축할 때 필요한 사양과 무료·공개 모델별 구성

1. 먼저 알아야 할 용어

로컬 LLM

오픈 웨이트 모델

2. 로컬 LLM 시스템의 기본 구성

주요 구성요소

LLM 추론 서버

임베딩 모델

벡터 데이터베이스

RAG 서버

사용자 프로그램

3. 하드웨어에서 가장 중요한 것은 GPU 메모리

4. 모델 메모리 계산 방법

5. 컨텍스트 길이가 메모리에 미치는 영향

6. 모델 크기별 현실적인 권장 사양

7. GPU가 없는 CPU 서버 구성

최소 구성

권장 CPU 서버

8. 개인 개발용 PC 권장 구성

기본형

중급형

고급형

9. 기업용 서버 권장 구성

소규모 부서용

중소기업 공용

중견기업·전문 AI 서버

10. 대표적인 무료·공개 LLM 모델군

10.1 Qwen3

권장 하드웨어

장점

추천 적용

10.2 Gemma

권장 하드웨어

장점

추천 적용

10.3 Mistral·Ministral

주요 선택

Ministral 3B·8B

Ministral 14B

Devstral Small 24B

Mistral Small 4

10.4 Llama

현실적인 로컬 선택

10.5 DeepSeek-R1 계열

권장 하드웨어

장점

주의점

11. 용도별 모델 추천

일반 사내 챗봇

사내 문서 RAG

코딩 지원

이미지·문서 분석

고급 추론

소형 엣지·개인 PC

12. Ollama로 가장 쉽게 구축하는 방법

기본 설치 후 모델 실행

설치된 모델 확인

서버 상태 확인

Python에서 호출

13. C# 프로그램에서 연결하는 구조

OpenAI 호환 API 예시

14. RAG를 추가한 사내 문서검색

문서 처리 단계

RAG 서버 권장 구성

15. RAG용 추가 하드웨어

소규모

중간 규모

16. 동시 사용자와 서버 용량

동시 사용자가 늘어나면 증가하는 항목

권장 운영방식

대략적인 선택

17. 서버 운영체제

Windows

Ubuntu Linux

18. 저장장치 용량

권장 용량

19. 로컬 LLM 구축 시 보안

필수 보안항목

20. 로컬 LLM의 장점

데이터 통제