본문 바로가기
반응형

AI/LLM7

LLM을 로컬 서버에 구축할 때 필요한 사양과 무료·공개 모델별 구성 기업 내부 문서, 소스코드, 생산정보와 고객자료를 외부 AI 서비스로 보내지 않고 활용하려면 LLM을 사내 PC나 서버에 직접 구축할 수 있습니다.이를 일반적으로 로컬 LLM, 온프레미스 LLM 또는 사내 생성형 AI 서버라고 부릅니다.사용자 질문→ 사내 AI 서버→ 로컬 LLM 실행→ 필요 시 사내 문서 검색→ 답변 생성 로컬 서버를 구축하면 데이터 통제와 사용자별 권한관리에는 유리하지만, GPU와 메모리 비용, 모델 업데이트, 응답 품질 및 운영관리를 직접 책임져야 합니다.이번 글에서는 로컬 LLM 구축에 필요한 하드웨어, 모델 크기별 권장 사양, 대표적인 공개 모델군, RAG 구성과 기업용 권장안을 함께 정리하겠습니다.1. 먼저 알아야 할 용어로컬 LLM인터넷의 외부 AI API를 호출하지 않고 자.. 2026. 8. 5.
파인튜닝이란? LLM을 우리 업무에 맞게 학습시키는 방법 공개형 LLM을 설치하고 RAG를 연결하면 회사 문서를 기반으로 답변하는 AI를 만들 수 있습니다.하지만 다음과 같은 요구사항은 RAG만으로 해결하기 어려울 수 있습니다.항상 정해진 형식으로 답변회사 고유의 문체 사용문의 내용을 지정된 항목으로 분류제조업 전문용어를 일관되게 표현특정 업무 절차에 맞춰 응답입력자료를 정해진 JSON 형식으로 변환이러한 경우 검토할 수 있는 기술이 파인튜닝(Fine-tuning)입니다.1. 파인튜닝이란?파인튜닝은 이미 대규모 데이터로 학습된 LLM을 특정 업무, 분야 또는 답변 방식에 맞게 추가로 학습시키는 과정입니다.우리말로는 다음과 같이 표현할 수 있습니다.미세조정추가학습특화학습업무 맞춤 학습예를 들어 일반 LLM에 제조업 품질관리 관련 학습 예시를 제공하면 다음 작업을.. 2026. 8. 4.
RAG란? 사내 문서와 LLM을 연결하는 검색증강생성 완벽 이해 ChatGPT와 같은 LLM은 방대한 자료를 학습했지만 우리 회사의 작업표준서, 설비 매뉴얼, 품질규정, 생산실적까지 알고 있지는 않습니다.회사 내부자료를 프롬프트에 매번 복사해 넣는 것도 현실적이지 않습니다. 문서가 수천 개라면 LLM이 어떤 문서를 참고해야 하는지도 판단하기 어렵습니다.이 문제를 해결하는 대표적인 기술이 RAG입니다.RAG를 적용하면 사용자의 질문과 관련된 사내 문서를 먼저 찾고, 검색된 내용을 LLM에 전달해 근거 중심의 답변을 생성할 수 있습니다.1. RAG란?RAG는 Retrieval-Augmented Generation의 약자로, 우리말로는 검색증강생성이라고 합니다.이름을 세 부분으로 나누면 쉽게 이해할 수 있습니다.Retrieval: 관련 자료 검색Augmented: 검색한 .. 2026. 8. 4.
Ollama란? 설치·사용법·API·RAG 구축까지 완벽 정리 최근에는 OpenAI gpt-oss, Meta Llama, Google Gemma, Alibaba Qwen, Microsoft Phi 같은 공개형 LLM을 개인 PC나 회사 서버에서 직접 실행할 수 있습니다.이때 모델 설치와 실행, API 제공을 간편하게 처리해 주는 대표적인 프로그램이 Ollama입니다.Ollama를 사용하면 복잡한 AI 개발환경을 직접 구성하지 않아도 명령어 몇 개로 LLM을 내려받고 실행할 수 있습니다. C#, Python, Flask, MES, ERP, 문서관리시스템에서도 REST API를 통해 연결할 수 있습니다.1. Ollama란?Ollama는 공개형 LLM을 개인 컴퓨터나 회사 서버에서 쉽게 실행하도록 도와주는 로컬 AI 실행 플랫폼입니다.다음 작업을 통합적으로 처리합니다.공.. 2026. 8. 4.
무료 LLM이란? Meta·OpenAI 등 공개형 AI 모델 비교 ChatGPT와 같은 AI 서비스를 직접 사용하다 보면 자연스럽게 이런 생각을 하게 됩니다.“LLM을 내 컴퓨터나 회사 서버에 설치해 사용할 수 없을까?”Meta, OpenAI, Google, Mistral AI, Microsoft, Alibaba, DeepSeek, IBM 등은 다운로드해 직접 실행할 수 있는 공개형 LLM을 제공하고 있습니다.이러한 모델을 이용하면 인터넷 연결 없이 로컬에서 AI를 실행하거나, MES·ERP·문서관리시스템 같은 프로그램에 자체 AI 기능을 넣을 수 있습니다.다만 ‘무료 LLM’, ‘오픈소스 LLM’, ‘오픈웨이트 LLM’은 의미가 조금씩 다르므로 먼저 구분할 필요가 있습니다.1. 무료 LLM이란?무료 LLM은 일반적으로 모델 파일을 내려받아 별도의 API 사용료 없이 .. 2026. 8. 3.
Transformer란? LLM을 만든 핵심 AI 기술 ChatGPT 같은 거대언어모델을 이해하려면 먼저 Transformer를 알아야 합니다.Transformer는 문장에 포함된 단어들의 관계를 분석해 문맥을 이해하고 새로운 문장을 생성하는 인공지능 신경망 구조입니다.2017년 구글 연구진이 발표한 논문 **「Attention Is All You Need」**에서 처음 소개됐으며, 현재 LLM과 생성형 AI를 구성하는 대표적인 기반 기술로 사용됩니다.1. Transformer란?Transformer를 우리말로 직역하면 ‘변환기’입니다.AI 분야에서는 입력된 문장이나 데이터를 분석해 다른 형태의 결과로 변환하는 신경망 구조를 뜻합니다.예를 들면 다음과 같습니다.질문을 입력해 답변 생성한국어를 영어로 번역긴 문서를 짧게 요약자연어 요구사항을 프로그램 코드로 변.. 2026. 8. 3.
반응형

티스토리툴바