분류 전체보기
-
7. CNN(Convolutional Neural Network)general ML, DL, NLP/딥러닝 2022. 4. 20. 22:50
*본 게시물은 22-1학기 연세대학교 일반대학원 딥러닝을이용한비정형데이터분석(이상엽 교수님) 수업 내용을 정리한 것입니다. 드디어 CNN입니다. (개인적으로는 딥러닝을 CNN을 통해 입문했기에 옛 생각이(?) 많이 나는 알고리즘이기도 합니다 ㅎ_ㅎ...) 1. 이미지 처리에서의 FFNN 한계와 CNN 앞 FFNN에서 확인했듯이 사실 이미지를 단순 FNN으로 처리하기는 매우 힘듭니다. 가래떡 뽑듯이 하나로 뽑는 과정에서부터 공간 정보 손실과 과도한 파라미터 수의 증가가 일어나기 때문입니다. 가래떡이라고 했지만 실은^^;; 그림처럼 이미지를 여러 줄로 자른 후 1차원 배열로 나타내는 것을 뜻합니다. 딱 봐도 알 수 있듯이 이미지가 무엇을 나타내는 지에 대한 정보, 즉 이웃 픽셀들과의 공간 정보(spatial..
-
6. Overfitting 과적합general ML, DL, NLP/딥러닝 2022. 4. 20. 18:06
*본 게시물은 22-1학기 연세대학교 일반대학원 딥러닝을이용한비정형데이터분석(이상엽 교수님) 수업 내용을 정리한 것입니다. 1. 과적합 1) 과적합이란 과적합은 학습 데이터는 잘 설명하는 반면, 새로운 데이터는 잘 설명하지 못하는 상태를 말합니다. 학습을 하는 이유는 새로운 데이터를 잘 설명하기 위해서입니다. 그런데 반대가 된다면 곤란합니다 ^^; 2) 과적합 원인 ① 모형이 너무 복잡해서 파라미터 수가 너무 많을 때 ② 모형이 학습 데이터에 너무 민감하게 반응하게 때문에 발생합니다. 보통 딥러닝 모형은 기본적으로 파라미터가 많기 때문에 과적합이 쉽게 발생하는 편입니다. 과적합 발생을 알아차릴 수 있는 방법에는 validation dataset이 있습니다. 즉 검증 데이터셋은 훈련 데이터의 일부이나, 훈..
-
5. FFNN(Feed Forward Neutral Network)general ML, DL, NLP/딥러닝 2022. 4. 20. 13:55
*본 게시물은 22-1학기 연세대학교 일반대학원 딥러닝을이용한비정형데이터분석(이상엽 교수님) 수업 내용을 정리한 것입니다. FFNN(Feed Forward Neural Network) FFNN이란 기본적인 신경망을 뜻합니다. 그동안 정리해왔던 신경망이 바로 FFNN입니다. FFNN은 FNN, ANN(Artificial Neural Network), MLP(Multilayer Perceptron), 혹은 Dense layer 등등으로 불리기도 합니다. 앞서 이야기했던 것처럼 은닉층이 2개 이상인 것부터 deep 자가 붙습니다. 데이터에 신경망을 적용하고자 할 경우 정해야 하는 순서는 다음과 같습니다. * 데이터에 신경망을 적용한다는 것은 곧 학습 데이터에 신경망 모형을 적용하여 학습을 시작한다는 것을 의미..
-
3. 경사하강법 & 4. optimizergeneral ML, DL, NLP/딥러닝 2022. 4. 19. 18:06
*본 게시물은 22-1학기 연세대학교 일반대학원 딥러닝을이용한비정형데이터분석(이상엽 교수님) 수업 내용을 정리한 것입니다. 3. 경사하강법 - 비용함수 최소화 방법 1. 신경망에서의 학습 신경망에서 '학습'이란 모형의 총 오차를 나타내는 비용함수를 최소화하는 파라미터 값을 찾는 것입니다. 이에 따라 optimization problem이라고 볼 수도 있습니다. 비용함수를 최소화 하는 주요 방법에는 다음과 같은 방법들이 있습니다. - Normal Equation: 비용함수가 2차함수와 같이 볼록한 convex 함수일 때만 사용 가능합니다. 그러나 대부분 딥러닝의 비용함수는 convex 형태가 아니고, 파라미터도 많기에 딥러닝에서는 사용되지 않습니다. - Gradient Descent 경사하강법 가중치의 값..
-
2. 활성화 함수general ML, DL, NLP/딥러닝 2022. 4. 19. 17:57
*본 게시물은 22-1학기 연세대학교 일반대학원 딥러닝을이용한비정형데이터분석(이상엽 교수님) 수업 내용을 정리한 것입니다. 2. 활성화 함수 1) 활성화 함수란? 활성화함수란 노드에 입력된 값을 변환하여 출력하는 역할을 하는 함수로, 신경망에서는 주로 비선형 함수를 씁니다. 실제 신경망에서는 Z1, Z2와 같이 값을 그대로 내보내지 않습니다. 반드시 활성화 함수를 거쳐서 특정 형태로 변환 합니다. 2) 활성화 함수의 역할과 특징 (1) 활성화 함수는 은닉 노드에서 독립변수의 정보를 추출하는데 사용됩니다. - 활성화 함수에 비선형 함수를 쓰는 이유는 독립변수와 종속변수 간의 비선형 관계를 파악하기 위해서입니다. - 선형 함수는 아무리 중첩해도 선형함수가 되기에 여러 은닉층을 쌓는 효과를 전혀 누릴 수 없습..
-
1. 딥러닝 기초general ML, DL, NLP/딥러닝 2022. 4. 19. 17:56
*본 게시물은 22-1학기 연세대학교 일반대학원 딥러닝을이용한비정형데이터분석(이상엽 교수님) 수업 내용을 정리한 것입니다. 1. 딥러닝 기초 1. 딥러닝 vs 머신러닝 딥러닝은 머신러닝의 일종입니다. 신경망 기반의 알고리즘이며, 일반적으로 비정형 데이터(텍스트, 비디오, 오디오, 이미지...)에 대해 머신러닝 모형보다 성능이 더 좋다고 알려져 있습니다. 딥러닝이든 머신러닝이든 둘 다 수학적 모형이기에 파라미터를 가집니다. 파라미터의 궁극적 목표는 비용함수를 최소화하는 최적 파라미터가 되는 것입니다. 딥러닝이 머신러닝보다 좋은 이유는 알고리즘으로 비선형함수를 사용하기 때문입니다. 즉, 머신러닝 알고리즘 중 선형 회귀를 떠올려보면 다음과 같은 식이 성립합니다. 이를 신경망처럼 표시를 하면, 은닉층 없이 입력..
-
자연어 처리와 딥러닝 1- 개론general ML, DL, NLP/자연어 처리 2022. 3. 15. 15:34
* 본 게시물은 연세대학교 일반대학원 22-1학기 자연어처리와딥러닝(여진영 교수님) 수업을 정리한 것입니다. * 참고: 밑바닥부터 시작하는 딥러닝, 사이토 고키, 개앞맵시, 한빛미디어(2017) 0. 인공지능, 머신러닝, represntation learning, 딥러닝 (1) 용어 구분 - 위의 개념들은 자주 혼동되어서 쓰입니다. 혹은 구분하기가 매우 모호하기도 합니다. 그러나 늘 그렇듯이 서로는 약간씩 다릅니다 ^^ㅋㅋㅋ 다음의 표를 보시겠습니다. AI Machine Learning Representation Learning Deep Learning ex. knowledge bases -올드 패션한 방법입니다 Logistic regression Shallow autoencoders MLP's 방법 h..
-
텍스트마이닝1- introduction텍스트마이닝 2022. 3. 14. 13:46
*본 포스팅은 22-1학기 연세대학교 일반대학원 텍스트마이닝(송민 교수님) 수업을 정리한 것입니다. 2주차: 텍스트 분석- 텍스트 요소 단위별 분석 0. 들어가기 전에 (1) 텍스트를 분석하는 이유 (2) 텍스트 마이닝이란? (3) 텍스트 분석이란 무엇인가? 1) 머신러닝과의 차이 2) 자연어 처리와의 차이 3) 데이터 마이닝과의 차이 4) 정보검색과의 차이 5) 시맨틱 웹과의 차이 (4) 텍스트 마이닝을 통해 할 수 있는 것? 1. 텍스트 표현의 단위 (1) 어휘 표현: 문자/단어/구/품사 1) 문자 단위 텍스트 분석 - 문자 기반 언어 모델, 서픽스 배열 2) 단어 단위 텍스트 분석 - 토큰화, 불용어, 품사 태깅(규칙 기반/stocastic 기반) 3) 구 단위 텍스트 분석 - 텍스트 단위화(청킹)..