본문 바로가기

개발

 (102)
Language Models are Few-Shot Learners 리뷰 https://programmerk.tistory.com/110 Improving Language Understanding by Generative Pre-Training 리뷰배경 : 기존 지도학습 방식은 라벨링, 어노테이션등 노동력이 필요하고, 이에 따른 적용 한계가 존재한다. 이러한 한계점 (시간적, 비용적) 극복하기 위하여 비지도 학습 방안을 고려하기 시작함programmerk.tistory.com https://programmerk.tistory.com/111 Language Models are Unsupervised Multitask Learners 리뷰https://programmerk.tistory.com/110 Improving Language Understandingby Generativ..
Language Models are Unsupervised Multitask Learners 리뷰 https://programmerk.tistory.com/110 Improving Language Understandingby Generative Pre-Training 리뷰배경 : 기존 지도학습 방식은 라벨링, 어노테이션등 노동력이 필요하고, 이에 따른 적용 한계가 존재한다. 이러한 한계점 (시간적, 비용적) 극복하기 위하여 비지도 학습 방안을 고려하기 시작함programmerk.tistory.com 배경 아직도 지도학습 방법이 많이 사용되고, 이로 인해 데이터의 분포가 잘못될 경우 성능에 취약하다는 단점이 존재한다.이러한 방식은 특정 분야 ( narrow experts ) 에서 잘 동작한다. 그 이유로는 단일 도메인 데이터셋과 단일 작업 학습이(single task training on singl..
Improving Language Understanding by Generative Pre-Training 리뷰 배경 : 기존 지도학습 방식은 라벨링, 어노테이션등 노동력이 필요하고, 이에 따른 적용 한계가 존재한다. 이러한 한계점 (시간적, 비용적) 극복하기 위하여 비지도 학습 방안을 고려하기 시작함. 제시하는 방안 : 1. 비지도 학습으로 사전학습 2. 지도학습으로 파인튜닝하여 성능향상3. Transformer 의 decoder 구조 사용 구조 :1. Unsupervised pre-training bookcorpus 를 사용하여 likelihood 최대화 학습 트랜스포머의 디코더만 사용 이유> 다음 토큰을 순차적으로 예측하는 생성적 사전 학습(generative pre-training) 목적에 잘 맞기 때문입니다.디코더는 이전 토큰들만 참고해서 다음 토큰을 예측하는 autoregressive 구조를 갖고 있습..
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding https://programmerk.tistory.com/101 Attention Is All You Need이전 문제 :이전 hidden state를 기반으로 다음 step의 hidden state를 순차적 생성 특성 인한 병렬 처리 불가 (기존에도 순환 구조에 Attention 메커니즘 사용하고는 있음.) 해결 방안 :순환 구조를 배제하programmerk.tistory.com이전 문제기존 단방향성 모델들의 한계 (left-to-right 학습 방법)downstream task 별도 모델 필요 아키텍처의 불편함 해결 방안BERT 는 양방향 self attention 활용 , GPT 는 제한된 self attention 활용Masted Langauge Model(MLM) 사용 : 기존에는 다음 단어나..
CAE 컴퓨터 소프트웨어를 이용해 제품 설계, 제조 및 공정 설계를 가상으로 시뮬레이션하고 평가하는 기술구분CAD CAE 정의제품 구조를 설계·제도·모델링하기 위한 설계 기술설계된 모델을 해석·검증·최적화 위한 공학 기술목적제품 설계 및 제작 도면 작성설계된 모델의 성능, 강도, 열, 유동 등 공학적 검증핵심 기능2D/3D 모델링, 조립, 제도, 설계 변경구조해석(FEA), 유동해석(CFD), 진동 분석주요 결과물도면, 3D 모델, 어셈블리 구조해석 리포트, 응력·변형 데이터, 설계 개선안활용 단계제품 개발의 초기 설계 단계제품 개발의 후기 검증 및 최적화 단계대표 도구AutoCAD, SolidWorks, InventorANSYS, Abaqus, COMSOL, Nastran, Fluent 🔬 CAE 중심 프..
Computer Aided Design 전통적인 수작업 '제도' 대신 컴퓨터 CAD 프로그램을 활용하여 2D 도면, 3D 모델을 디지털화 방식CAD와 함께 쓰이는 CAM(Computer Aided Manufacturing, 컴퓨터 지원 제조), CAE(Computer Aided Engineering, 컴퓨터 지원 엔지니어링) 등도 존재 대표 활용 방안:🧱 1. 건축(Architecture) 프로젝트- 건물 평면도, 입면도, 단면도, 인테리어, 조경 설계 등 공간 계획⚙️ 2. 기계 설계(Mechanical Design) 프로젝트- 기계 부품, 조립체, 설비 배치, 생산 라인 설계 등 2D/3D 기계 요소 설계 중심🔌 3. 전기(Electrical) 프로젝트- 전기 회로, 배선, 제어 패널, 배전 시스템 설계 중심💧 4. 토목(Civil/..
neural machine translation by jointly learning to align and translate https://programmerk.tistory.com/100 seq2seq (Sequence to Sequence Learning with Neural Networks)https://programmerk.tistory.com/98 LSTM ( long short term memory )https://programmerk.tistory.com/97 RNNRNN : RNN의 은닉층에 과거 정보를 압축해 저장하는 역할을 하고, 이 정보가 다음 시간 단계로 다시 입력되어 순환되programmerk.tistory.com 정의 :신경망 기계 번역의 인코더 디코더 구조에서 고정된 컨텍스트를 만드는 과정에서의 병목 현상 해결위해 정렬과 번역을 동시에 학습하는 attention machanism 적용하여 성능 향상 ..
Attention Is All You Need 이전 문제 :이전 hidden state를 기반으로 다음 step의 hidden state를 순차적 생성 특성 인한 병렬 처리 불가 (기존에도 순환 구조에 Attention 메커니즘 사용하고는 있음.) 해결 방안 :순환 구조를 배제하고 입력과 출력 사이 전역적 의존성을 온전히 어텐션 메커니즘에 의존하는 Transformer 제안,셀프 어텐션 레이어 사용하여 병렬 처리 가능하도록 지원 어떻게 ?Q : 이전 문맥을 유지하면서 병렬성을 어떻게 높일 것인가?A :인코더와 디코더로 구성, 인코더에서는 입력 신퀀스를 벡터로 변환, 디코더는 이를 바탕으로 출력 시퀀스를 생성한다.이때 어텐션 메커니즘을 활용함 Scaled Dot-Product Attention : 주어진 Query, key, Value 이용 각 단..

티스토리툴바