딥러닝7 [paper Review] Deep Residual Learning for Image Recognition 1. Introduction2012년 AlexNet의 등장 이후, 더 깊은 모델일 수록 이미지 classfication 정확도가 올라간다고 많이 알려지고 있었습니다. 예를 들어 VGG-19(19개 층), GoogLeNet(22개 층)과 같은 모델들이 있었고, 이외에도 많은 모델들이 구현되었습니다.아래 그래프는 2010년부터 2015년까지 ILSVRC대회에서의 top-5 오류율 감소 추이를 보여줍니다. 하지만 모델이 깊어질수루고 두 가지 문제가 발생하게 됩니다. 1. Gradient Vanishing 역전파 과정에서 층이 깊어질수록 기울기가 점점 작아져서 학습이 멈추게 됩니다.2. Gradient Exploding기울기가 지나치게 커지면 가중치가 비정상적으로 크게 업데이트 되어 학습이 불안정해집니다. 기.. 2025. 5. 12. [Paper Review] VGGNet - Very Deep Convolutional Networks For Large-Scale Image Recognition 1. Introduction딥러닝 기반의 이미지 분류 모델이 급격히 발전할 수 있었던 배경에는 ImageNet과 같은 대규모 데이터셋의 역할이 컸습니다.특히 ImageNet에서 주최하는 ILSVRC 대회에서는 다양한 모델들이 성능을 겨루는 실험장이 되었고, 이는 CNN 기반의 시각 인식 기술이 비약적으로 성장할 수 있는 계기가 되었습니다.저번 논문에서 소개했던 AlexNet이 등장하면서 기존 방식을 압도하며 많은 과학자들이 다양한 구조를 제안하였습니다. 주로 필터 크기, Stride, 입력 해상도, 학습 방식을 조정하며 성능 향상을 시도하였습니다.이 논문에서는 기존의 접근 방식과 달리, 구조를 단순하게 유지하면서 깊이(depth)만 증가시키는 방법을 제안합니다. 모든 Convolution 층에 3x.. 2025. 4. 28. 1×1 Convolution: CNN 모델을 가볍게 만드는 핵심 기법 INTRO현재 VGGNet의 관련 논문을 읽던 중 1x1 convolution 이용에 대한 많은 궁금중이 생겼었습니다. 3x3 convolution 으로 이용해서 feature를 요약하거나 주변 픽셀을 고려하는 경우는 이해가 갔지만 1x1 convolution의 이용은 왜? 라는 대답에 쉽게 답하지 못했습니다.논문에서도 모델의 성능과 효율을 좌우하는 핵심 기술이라는데 하나도 이해가 가지 않아서 저의 이해 과정을 하나의 포스팅에 담아보려고 합니다. 많은 분들이 도움을 받았으면 좋겠습니다. 결론채널 수를 줄여 연산량과 모델 크기를 줄입니다.채널 간 정보를 비선형적으로 조합해 더 복잡한 특징을 학습합니다.공간(가로,세로)은 그대로 두고, 깊이 방향(채널)만 가공합니다.결론을 한번 먼저 써보았습니다. 딥러닝을.. 2025. 4. 26. [Paper Review] ImageNet Classification with Deep Convolutional Neural Networks 1. Introduction초기에는 MNIST,CIFAR-10 같은 소규모 이미지 데이터셋(수만 장)만 있었기 때문에, 단순한 이미지 분류 작업에는 충분했습니다. 하지만 실제 사진 속 사물들은 다양성도 많고 복잡도가 높았습니다.이러한 현실적 문제를 해결하기 위해 더 많은 데이터셋과 복잡한 구조를 가진 모델이 필요했습니다.ImageNet이라는 2만 2천이 넘는 카테코리에 대해 1500만장이 넘은 labeled 데이터셋이 등장하게 됩니다.본 논문은 CNN을 소개하고 있는데, CNN은 이미지 데이터의 특성을 잘 반영하도록 설계된 구조입니다.이미지에서 인접한 픽셀 간의 관계나 위치와 무관한 패턴이 중요하며, CNN은 이러한 특성을 고려해 파라미터 수를 줄이면서도 강력한 표현력을 가질 수 있도록 구성되었고, .. 2025. 4. 23. [Paper Review] Tutorial on Support Vector Machine 논문을 읽기전 본 논문에서 나오는 단어 5개를 먼저 정리하려고 한다.개념설명Margin결정 경계와 가장 가까운 데이터 포인트 간의 거리. 넓을수록 일반화가 잘됨Support Vector결정 경계를 만드는 데 영향을 주는 중요한 포인트들Hyperplane데이터를 나누는 결정 경계. n차원 공간에서의 "직선" 또는 "면"Feature Space데이터를 고차원으로 변환한 공간. SVM은 이 공간에서 선형 분리를 시도함Hypothesis Space모델이 선택할 수 있는 함수(경계선)들의 공간IntroductionSVM(Support Vector Machine)은 데이터를 분류하거나 예측하는데 사용되는 지도학습 모델이다.1992년 COLT 학회에서 Vapnik 이 처음 소개일반화 성능이 뛰어나고 overfitt.. 2025. 4. 23. [Paper Review] Random Forests: From Early Developments to Recent Advancements Introduction데이터 마이닝이란?데이터 마이닝은 다양한 관정에서 데이터를 분석해 유용한 정보를 추출하는 기술 주로 사용되는 분야: 인공지능, 머신러닝, 통계학, 데이터베이스 데이터 마이닝의 주요 작업anomaly detection (이상 탐지)association rule learning (연관 규칙 학습)clustering (군집화)classfication (분류)regression (회귀)summarization (요약)sequential pattern mining (순차 패턴 마이닝)=> 현재 본 논문은 classification에 초점을 맞춰서 설명함Classification ?label이 있는 학습 데이터를 통해 모델(분류기)를 학습시킴 -> 이후 새로운 데이터의 label을 .. 2025. 4. 23. [Paper Review] Decision tree methods: applications for classification and prediction 논문 개요이 논문은 결정 트리(Decision Tree) 기법이 의료 데이터를 포함한 다양한 분야에서 사용됨을 소개하고 있습니다. 특히 분류(classification)와 예측(predicion) 의 관점에서 결정 트리의 장점과 실제 연구(MDD) 사례를 들어 설명을 하고 있습니다. 이 논문은 결정트리의 기본 구조와 개념, 모델을 만드는 과정을 쉽게 설명하고 이고, 몇개의 알고리즘(CART, C4.5)를 간단하게 소개하고 있습니다. 결정 트리?결정 트리는 데이터를 일련의 조건들에 따라 분할하여 트리 형태로 시각화하는 모델을 말합니다.각 가지(branch)는 조건에 따라 나뉘며, 말단 노드는 모델의 예측 또는 결과 를 나타냅니다.루트 노드(시작점)에서 각 내부 노드를 거치면서 조건이 적용되어 최종적으.. 2025. 4. 23. 이전 1 다음
