LangChain&LangGraph (15) 썸네일형 리스트형 RAG 서버 카카오톡과 연결 하기 RAG 서버 구축후 일단 큰 이슈가 두가지 있엇다.1. 구글에서 gpu 사용 가능하도록 바우처를 900~1000불을 추가 해줬다. GOOD2. RAG서버의 추론 속도가 너무 느리다. 따라서 GPU를 지원하는 서버로 전환을 하여 재 구축을 수행하였다 [스펙]n1-standard-8 (vCPU 8개, 메모리 30GB)gpu : 1xNVIDIA T4cpu 플랫폼 : Intel Skylake 이미지 : c0-deeplearning-common-cu121-v20241118-debian-11 (CUDA 12.1 지원 버전) 위 스펙으로 처음부터 재구축 진행 완료 이제 카카오톡에서 메시지를 보내면 RAG 서버에서 응답을 받을 수 있도록 진행 해 보았다 챗봇 만드는 과정은 인터넷에 너무나 많아서 생략.. 일단 아래와 .. pdf 활용 RAG 테스트 - 기본 기본적으로 알아할 요소 정리 1. 인코딩 - 자연어나 데이터를 컴퓨터가 이해할 수 있는 변환2. 임베딩 - 텍스트(문장, 단어 등)를 **고차원 벡터(Vector)**로 변환하는 과정 예를 들어, 단어나 문장 같은 텍스트를 고정 길이의 숫자 배열로 바꾸어 의미적으로 비슷한 단어일수록 벡터 공간에서 가까운 위치에 있도록 만드는 것입니다. 이렇게 변환된 벡터는 유사도 계산, 검색, 추천, 분류 등 다양한 머신러닝 및 자연어처리 작업에서 활용됩니다. 임베딩 모델 또한 주어진 대규모 데이터를 기반으로 각 항목을 의미 있는 벡터 표현으로 변환하는 방법을 학습함 임베딩 마다의 차이1. 학습 데이터셋과 방식2. 모델 구조와 아키텍처3. 학습 목표와 손실 함수4. 벡터 차원 수 (embedding dimension)... jupyter notebook 활용 llm 테스트 1. 웹 접근 2. test.py 클릭 3. 아래 내용 입력> ! pip install langchain-community> !pip install -U langchain-ollama from langchain_ollama.llms import OllamaLLMfrom langchain.chains import LLMChainfrom langchain.prompts import PromptTemplate# Ollama LLM 초기화 OLLAMA_BASE_URL = "http://localhost:11434" # Ollama 서버 주소OLLAMA_CHAT_MODEL = "ollama-ko-0710:latest" # Ollama에서 실행중인 모델 이름llm = OllamaLLM(model=OLLAMA_CHA.. jupyter 노트북 연결 1. flowise 를 사용해서 테스트를 진행 하다가 확 안와닿아서 jupyter 노트북으로 방향을 틀었다.2. jupyter 노트북 개념 - colab 써봣으면 대충 알수있다.웹 기반의 인터랙티브 컴퓨팅 환경으로서, 코드, 텍스트, 수식, 시각화 결과 등을 하나의 문서(.ipynb 파일) 내에서 통합해 작성하고 실행할 수 있는 도구입니다. 주로 데이터 과학, 머신러닝, 연구, 교육 등에서 널리 사용됩니다. 3. 설치 방법> pip install jupyter notebook> mkdir /home/user/jupyter > cd /home/ user /jupyter > vi test.py> cd ../> jupyter notebook --generate-config > cd ./.jupyter> cp.. LLM 테스트 1. 허깅 페이스에서 llama-3 중 유명한 모델을 찾아 그중 한국어 파인 튜닝된 모델을 찾았다> MLP-KTLim/llama-3-Korean-Bllossom-8B> MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M 2. 처음이라 멀 사용해야 할지 몰라 일단 두개 다 다운받았으나 ollama 를 사용할 예정이라 이리 저리 찾아보던중 gguf 를 사용해야한다 해서 아래 모델로 사용 > MLP-KTLim/llama-3-Korean-Bllossom-8B> MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M두개 차이 알려줘> Ollama는 llama.cpp 기반으로 동작하며, llama.cpp는 GGUF 포맷을 기본 지원합니다.> "gg.. RAG 도전 - 서버 구축 ### 서버생성 1. GCP 구글 계정 생성 => 300 $ 무료 바우처 사용 2. GCP 인스턴스 생성=> 서버스펙 hw : n1-standard-8 (vCPU 8개, 메모리 30GB)os : c0-deeplearning-common-cpu-v20250325-debian-11cpu : Intel Skylake 3. ssh 키생성=> ssh 키 설정을위하여 구글에서 제공해주는 웹 쉘로 서버 접근# 키생성ssh-keygen -t rsa -b 4096 -C "user@example.comcd ~/.sshls -al/home/user/.ssh/id_rsa/home/user/.ssh/id_rsa.pub=> 웹 쉘에서 다운로드활용하여 두개 파일 다운로드 4. ssh 키 등록=> gcp 메타데이터에 id_r.. 요구사항 프로젝트 목표 : 다수의 증권사의 기업별 pdf 리포트를 크롤링하여 RAG에 저장이를 기반으로 해당 기업의 주요 전략, 현재 상황등 전문가 의견 제시 챗봇 요구사항 : 클라우드기반 서비스 ( PC 가 없음, gpu 제공 안되는 환경 )3개의 증권사 리포트 자동 크롤링 ( daily ) 카카오톡을 통한 쉬운 요청LLM, RAG, LangChain, MCP 활용비용 최소화 오픈소스 활용성능 보다는 가능성 ! 가볍게 RAG 스케치만 해놓고 시작 이전 1 2 다음
