RAG 서버 구축후 일단 큰 이슈가 두가지 있엇다.
1. 구글에서 gpu 사용 가능하도록 바우처를 900~1000불을 추가 해줬다. GOOD
2. RAG서버의 추론 속도가 너무 느리다.
따라서 GPU를 지원하는 서버로 전환을 하여 재 구축을 수행하였다
[스펙]
n1-standard-8 (vCPU 8개, 메모리 30GB)
gpu : 1xNVIDIA T4
cpu 플랫폼 : Intel Skylake 이미지 : c0-deeplearning-common-cu121-v20241118-debian-11 (CUDA 12.1 지원 버전)
위 스펙으로 처음부터 재구축 진행 완료
이제 카카오톡에서 메시지를 보내면 RAG 서버에서 응답을 받을 수 있도록 진행 해 보았다
챗봇 만드는 과정은 인터넷에 너무나 많아서 생략..
일단 아래와 같은 형태로진행 하였으나.. response timeout 5s 제한에 걸려 callback을 받아야하는 상황이다.
callback 기능을 활용하기위해서는 카카오톡에서 승인이 필요하여 요청한 상태
승인이 날때까지 MCP 서버를 구축하여 어떤것을 할수 있는지 알아봐야겠다.
