RAG 연습 (12) 썸네일형 리스트형 jupyter 노트북 연결 1. flowise 를 사용해서 테스트를 진행 하다가 확 안와닿아서 jupyter 노트북으로 방향을 틀었다.2. jupyter 노트북 개념 - colab 써봣으면 대충 알수있다.웹 기반의 인터랙티브 컴퓨팅 환경으로서, 코드, 텍스트, 수식, 시각화 결과 등을 하나의 문서(.ipynb 파일) 내에서 통합해 작성하고 실행할 수 있는 도구입니다. 주로 데이터 과학, 머신러닝, 연구, 교육 등에서 널리 사용됩니다. 3. 설치 방법> pip install jupyter notebook> mkdir /home/user/jupyter > cd /home/ user /jupyter > vi test.py> cd ../> jupyter notebook --generate-config > cd ./.jupyter> cp.. LLM 테스트 1. 허깅 페이스에서 llama-3 중 유명한 모델을 찾아 그중 한국어 파인 튜닝된 모델을 찾았다> MLP-KTLim/llama-3-Korean-Bllossom-8B> MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M 2. 처음이라 멀 사용해야 할지 몰라 일단 두개 다 다운받았으나 ollama 를 사용할 예정이라 이리 저리 찾아보던중 gguf 를 사용해야한다 해서 아래 모델로 사용 > MLP-KTLim/llama-3-Korean-Bllossom-8B> MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M두개 차이 알려줘> Ollama는 llama.cpp 기반으로 동작하며, llama.cpp는 GGUF 포맷을 기본 지원합니다.> "gg.. RAG 도전 - 서버 구축 ### 서버생성 1. GCP 구글 계정 생성 => 300 $ 무료 바우처 사용 2. GCP 인스턴스 생성=> 서버스펙 hw : n1-standard-8 (vCPU 8개, 메모리 30GB)os : c0-deeplearning-common-cpu-v20250325-debian-11cpu : Intel Skylake 3. ssh 키생성=> ssh 키 설정을위하여 구글에서 제공해주는 웹 쉘로 서버 접근# 키생성ssh-keygen -t rsa -b 4096 -C "user@example.comcd ~/.sshls -al/home/user/.ssh/id_rsa/home/user/.ssh/id_rsa.pub=> 웹 쉘에서 다운로드활용하여 두개 파일 다운로드 4. ssh 키 등록=> gcp 메타데이터에 id_r.. 요구사항 프로젝트 목표 : 다수의 증권사의 기업별 pdf 리포트를 크롤링하여 RAG에 저장이를 기반으로 해당 기업의 주요 전략, 현재 상황등 전문가 의견 제시 챗봇 요구사항 : 클라우드기반 서비스 ( PC 가 없음, gpu 제공 안되는 환경 )3개의 증권사 리포트 자동 크롤링 ( daily ) 카카오톡을 통한 쉬운 요청LLM, RAG, LangChain, MCP 활용비용 최소화 오픈소스 활용성능 보다는 가능성 ! 가볍게 RAG 스케치만 해놓고 시작 이전 1 2 다음
