이번에 리뷰할 논문은 구글 리서치 그룹에서 TMLR(Transactions on Machine Learning Research) 2023에 제출한 논문인 Synthetic Data from Diffusion Models Improves ImageNet Classification입니다. 생성 모델이 놀라운 속도로 발전하고 있는데요! 해당 논문에서는 생...
이 포스트는 Attention Is All You Need로 유명한 transformer에 대한 포스트입니다. NLP로 처음 transformer를 접했었는데 최근에는 비전 분야에서도 SOTA 기술로 적용되는 등 놀라운 성과를 보여 이번 기회에 transformer에 대해 정리해야겠다는 생각이 들어 본 글을 작성했습니다. Transformer는 나온...
1. SENet SeNet은 Squeeze와 Excitation 방법을 적용한 SE Block을 사용한 네트워크입니다. SE Block의 동작은 다음과 같이 설명할 수 있습니다. Squeeze operation: 각 피쳐맵에 대한 전체 정보를 요약하는 operation Excitation operation: 각 피쳐맵의 중요도를 스케일하는...
Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks은 CVPR 2020에 제출된 논문이다. Gradient에 대한 의존성을 제거하여 CAM을 구한다는 특징을 가진다. 1. Gradient의 문제점 Gradient Saturation ...
1. 요약 본 논문에서 저자들은 기존의 pooling 기법과 차별은 둔 Probabilistic Class Activation Map (PCAM) pooling을 제안하였다. PCAM pooling은 트레이닝 하는 동안 CAM의 우수한 localization 능력을 활용한다. 이 방법을 chestX-ray 데이터셋에 적용한 결과 classificat...
안녕하세요. 오늘은 정말 따끈따끈한 논문인 High-Performance Large-Scale Image Recognition Without Normalization에 대한 리뷰입니다. Deepmind에서 새롭게 발표한 일주일도 안된 따끈따끈한 논문입니다. 그동안 ImageNet데이터에서 SOTA 성능을 달성한 논문은 대부분 EfficientNet을 ...
1. Label smoothing이란? Hard target을 soft target으로 바꾸는 것으로 라벨 스무딩을 이용하면 모델의 일반화 성능이 향상된다고 알려져 있습니다. 간단히 말하자면, 아래의 식으로 hard target을 soft target으로 바꾸어 모델의 over confidence 문제를 해결할 수 있기에 모델의 일반화 성능이 향상됩...
1. NVIDIA DRIVER 설치 https://developer.nvidia.com/cuda/wsl/download 위 링크에서 컴퓨터 환경에 맞게 nvidia 드라이버를 다운로드 받아준다. 2. CUDA 설치 CUDA 설치를 위한 network repository를 설정한다. sudo apt-key adv --fetch-keys ht...
이 포스트는 아래 원문의 내용을 참고하여 번역 및 수정한 것이다. 원문을 보고 싶으면 아래 링크에서 확인할 수 있다. 원문: A 5 min guide to hyper-parameter optimization with Optuna 전체코드: Google Colaboratory 이 게시물에서는 간단한 pytorch 신경망 훈련 스크립트를 가져...
기존에는 티스토리 블로그를 사용하고 있었다. Notion을 이용하면서 마크다운이 얼마나 편한지 새삼 느끼게 되어 github 블로그로 옮길까 말까 고민하다가 너무 마음에 드는 테마를 발견하여 github 블로그로 옮기기로 마음 먹었다. Minimal Mistakes Jekyll을 기반으로 만들어진 테마이다. 해당 링크로 가면 데모와 이용하는 방법을...