본문 바로가기

전체 글

 (105)
COPY vs Batch Insert, 결국 뭐가 다른가 대량의 데이터를 PostgreSQL에 적재할 때 보통 두 가지 방법을 떠올린다. COPY 명령을 쓰거나, INSERT를 일정 단위로 묶어서 반복하는 Batch Insert다. "COPY가 빠르다"는 말은 다들 하지만, 왜 빠른지, 그리고 어떤 상황에서 Batch Insert가 더 나은지는 의외로 두루뭉술하게 알고 넘어가는 경우가 많다. 이 글은 그 두루뭉술함을 하나씩 걷어내 보자. 사전 지식: 쿼리 프로세싱(query processing)의 파싱과 플래닝이란쿼리 프로세싱(Query Processing) 은 DBMS가 사용자가 보낸 SQL 문장을 받아서 실제 결과를 내놓을 때까지, 그 문장을 해석하고 → 최적의 실행 방법을 정하고 → 실행하는 일련의 과정 전체를 가리키는 말이에요. DB에 SQL을 보내면..
ffmpeg 서버 프로세스 실행 프로세스 REST API 요청 ->param 분석 -> 명령어 생성( builder 개발) -> child process ( exec or spawn ) 호출 ->ffmpeg 실행 ->영상 생성 ->서버 업로드 ->DB 상태 업로드 child_proccess 를 사용하지않고 nestjs 에서 제공하는 라이브러리 사용이 가능하지만 ffmpeg에서 다루는 모든 API를 제공하지 않아 child_process를 통한 직접 호출이 더 효과적이다. | child_process 란 : nodejs 환경에서 python, git, ffmpeg등 외부 프로그램을 실행 할 수 있도로 지원하는 프로세스 모듈 exec 와 spawn 의 차이 exec : 버퍼 기반으로 결과를 한번에 받음import { exec }..
ffmpeg 개념 FFmpeg은 오디오·비디오 등 위한 오픈소스 멀티미디어 프레임워크입니다. ffmpeg으로 영상/음성 인코딩 및 자르기, 합치기, 필터링 등을 수행가능하다 ffmpeg: cli 명령어ffprobe : 미디어 조회, duration, fps, codec 등 정보 수집, 분석 도구ffplay : 영상 플레이 nodejs/nest js에서 child_process를 통해 명령 전달 가능함 * child_process 란 : nodejs 환경에서 python, git, ffmpeg등 외부 프로그램을 실행 할 수 있도로 지원하는 프로세스 모듈 * 인코딩이란 원본 RAW 데이터를 압축 하여 컨테이너에 담는 과정영상 인코딩 과정각 픽셀 은 24bit ( = 3byte 의 R,G,B ) 로 구성됨하나의 프레임에는 ..
Language Models are Few-Shot Learners 리뷰 https://programmerk.tistory.com/110 Improving Language Understanding by Generative Pre-Training 리뷰배경 : 기존 지도학습 방식은 라벨링, 어노테이션등 노동력이 필요하고, 이에 따른 적용 한계가 존재한다. 이러한 한계점 (시간적, 비용적) 극복하기 위하여 비지도 학습 방안을 고려하기 시작함programmerk.tistory.com https://programmerk.tistory.com/111 Language Models are Unsupervised Multitask Learners 리뷰https://programmerk.tistory.com/110 Improving Language Understandingby Generativ..
Language Models are Unsupervised Multitask Learners 리뷰 https://programmerk.tistory.com/110 Improving Language Understandingby Generative Pre-Training 리뷰배경 : 기존 지도학습 방식은 라벨링, 어노테이션등 노동력이 필요하고, 이에 따른 적용 한계가 존재한다. 이러한 한계점 (시간적, 비용적) 극복하기 위하여 비지도 학습 방안을 고려하기 시작함programmerk.tistory.com 배경 아직도 지도학습 방법이 많이 사용되고, 이로 인해 데이터의 분포가 잘못될 경우 성능에 취약하다는 단점이 존재한다.이러한 방식은 특정 분야 ( narrow experts ) 에서 잘 동작한다. 그 이유로는 단일 도메인 데이터셋과 단일 작업 학습이(single task training on singl..
Improving Language Understanding by Generative Pre-Training 리뷰 배경 : 기존 지도학습 방식은 라벨링, 어노테이션등 노동력이 필요하고, 이에 따른 적용 한계가 존재한다. 이러한 한계점 (시간적, 비용적) 극복하기 위하여 비지도 학습 방안을 고려하기 시작함. 제시하는 방안 : 1. 비지도 학습으로 사전학습 2. 지도학습으로 파인튜닝하여 성능향상3. Transformer 의 decoder 구조 사용 구조 :1. Unsupervised pre-training bookcorpus 를 사용하여 likelihood 최대화 학습 트랜스포머의 디코더만 사용 이유> 다음 토큰을 순차적으로 예측하는 생성적 사전 학습(generative pre-training) 목적에 잘 맞기 때문입니다.디코더는 이전 토큰들만 참고해서 다음 토큰을 예측하는 autoregressive 구조를 갖고 있습..
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding https://programmerk.tistory.com/101 Attention Is All You Need이전 문제 :이전 hidden state를 기반으로 다음 step의 hidden state를 순차적 생성 특성 인한 병렬 처리 불가 (기존에도 순환 구조에 Attention 메커니즘 사용하고는 있음.) 해결 방안 :순환 구조를 배제하programmerk.tistory.com이전 문제기존 단방향성 모델들의 한계 (left-to-right 학습 방법)downstream task 별도 모델 필요 아키텍처의 불편함 해결 방안BERT 는 양방향 self attention 활용 , GPT 는 제한된 self attention 활용Masted Langauge Model(MLM) 사용 : 기존에는 다음 단어나..
CAE 컴퓨터 소프트웨어를 이용해 제품 설계, 제조 및 공정 설계를 가상으로 시뮬레이션하고 평가하는 기술구분CAD CAE 정의제품 구조를 설계·제도·모델링하기 위한 설계 기술설계된 모델을 해석·검증·최적화 위한 공학 기술목적제품 설계 및 제작 도면 작성설계된 모델의 성능, 강도, 열, 유동 등 공학적 검증핵심 기능2D/3D 모델링, 조립, 제도, 설계 변경구조해석(FEA), 유동해석(CFD), 진동 분석주요 결과물도면, 3D 모델, 어셈블리 구조해석 리포트, 응력·변형 데이터, 설계 개선안활용 단계제품 개발의 초기 설계 단계제품 개발의 후기 검증 및 최적화 단계대표 도구AutoCAD, SolidWorks, InventorANSYS, Abaqus, COMSOL, Nastran, Fluent 🔬 CAE 중심 프..

티스토리툴바