전체 글 (6) 썸네일형 리스트형 [논문 리뷰] TinyTL: Reduce Memory, Not Parameters for Efficient On-Device Learning Abstract 본 논문은 MIT Han LAB에서 발표한 논문으로 NeurIPS(NIPS)에 2020년 개제되었다. 간단하게 요약하자면 단순 파라미터를 줄이는 경량화 방식이 아닌 Activation에 의한 Bottleneck을 줄이는 방식으로 효율적인 모델의 동작을 가능하게 한다. 대부분의 연구는 모델의 trainable parameters를 줄이는 방식으로 진행되었다. 하지만 주요한 bottleneck은 activations에서 발생하기에 직접적인 memory saving의 효과를 볼 수 없다고 본 논문은 주장한다. 이에 저자들이 발표한 TinyTL(Transfer Learning)은 lite residual module을 도입하여 bias modules를 학습하는 동안은 weights를 freezi.. [논문 리뷰] MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 인공지능의 발전은 비단 정확도 향상만을 의미하진 않는다. 결과적으로 다양한 산업에 퍼져 적용이 되는 기술이 성공한 기술일 것이다. 이 세상의 다양한 Device들은 모두 이상적인 환경 속에서 작동되지는 않는다. 제한된 저장공간, 배터리에서 동작할 수도 있고 해결해야 하는 문제가 Real-Time Problem일지도 모른다. 안타깝게도 정확도와 같은 성능이 뛰어난 모델들은 대부분 복잡한 구조를 갖고있거나 수 많은 파라미터를 필요로 한다. 즉, 모델의 Latency가 길 수 도 있고 Size가 클 지도 모른다. 이런 모델의 경우 대부분의 Device에서 동작하지 않는다. 따라서 이와 관련된 여러 경량화 기술들이 존재한다. Pruning, Quantization이 그 대표적인 예이다. 이 논문은 모델의 구조적.. 작성중[논문 리뷰] Attention Is All You Need 본 논문은 Transformer 모델을 제안한다. 다들 알다시피 NLP 모델은 Transformer의 등장 앞 뒤로 나눌 수 있을 것이다. Transformer 등장 전에는 LSTM 모델과 GRU 모델이 NLP를 대표하는 모델이었다. 하지만 Transformer의 등장으로 현재 대부분의 NLP 문제는 Transformer가 대체하였다. Transformer 모델이 적용된 대표적인 서비스가 Chat-GPT이다. 그렇다면 Transformer가 어떤 모델이기에 이렇게 큰 변화를 삽시간에 불러올 수 있었을까? 그 답은 "Attention Is All You Need" 논문에 들어있다. 이 논문은 Google Brain과 Google Research에서 발표한 논문으로 기존의 시퀀스 모델의 문제를 극복하고 순환.. [공부 정리] 인공지능[1,2장] 오늘부터는 딥러닝 공부 정리를 해보려고 한다. 본 정리는 대학강의 공부를 병행하면서 정리하는 내용이다. 교재는 "Deep Learning with Python"을 활용한다. 아래 그림 처럼 머신러닝 시스템은 학습한다. 전통적인 코딩방식과 같이 Rules가 명시적으로 작성되는 것이 아닌 주어진 Data와 Answers를 통해 학습하여 Rules를 도출해낸다. 머신러닝을 하기 위해선 3가지가 필요하다. 먼저 Input data이고 둘째로 Examples of the expected output과 마지막 단계는 learning 이라 불리는 A way to measure whether the algorithm is doing a good job이다. 머신러닝에서 러닝은 유용한 데이터 표현을 만드는 데이터 변환을.. [개발] Pytorch GPU 설정하기 오늘은 아나콘다 사용환경에서 Pytorch로 GPU 사용 설정하는 법을 정리해 보고자 한다. 우선 첫번째로 PC의 그래픽 카드 종류를 확인해야 한다. 1. 윈도우 검색 창에 장치 관리자를 검색한다. 사용자의 PC에는 NVIDIA GeForce RTX 3060이 설치되어 있는 것을 확인할 수 있다. 2. 그래픽 카드의 종류를 확인하였다면 다음은 그래픽카드에 맞는 CUDA 버전을 찾아야한다. https://www.wikiwand.com/en/CUDA#/GPUs_supported Wikiwand - CUDA CUDA is a parallel computing platform and application programming interface that allows software to use certain ty.. [공부 정리] Transformer ViT는 기존 NLP분야에서 사용되어진 Transformer 기술을 Vision Task에 적용시킨 기술이다. ViT는 Image Classification 분야에 맞게 Transformer를 변형시켰고 DETR(Detection with Transformer)은 Object Detection에 맞게 변형시켰다. 그렇다면 여기서 Transformer란 무엇일까? 1) Transformer Transformer는 2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델이다. 논문의 제목처럼 *Attention 만으로 구현된 모델이다. 기존의 *seq2seq의 구조인 인코더-디코더를 따르기도 하였다. Transformer는 기존의 *RNN을 사용하지 않고도 RNN보다 .. 이전 1 다음
