justkeepintouch 님의 블로그

두두둥!이번 시간에는 "네이버 영화 리뷰"를 가지고 긍정/부정 분류하는 딥러닝 모델을 만들어 보자!!개인적으론 이번 실습 실제 영화 리뷰 데이터를 활용하여 하는 작업이다 보니까 젤 재밌었다 우선 데이터는 크게 2가지로 나뉜다정형 데이터(숫자)비정형 데이터(이미지, 문자, 음성)숫자 데이터의 경우 바로 MLP 모델 input에 넣을 수 있지만, 비정형 데이터의 경우 컴퓨터가 해당 데이터를 읽을 수 없기 때문에 컴퓨터가 읽을 수 있는 숫자로 바꿔주는 벡터화 작업이 필요하다 이미지 데이터 전처리 이미지 데이터의 경우 이미 픽셀이라는 숫자로 이루어져 벡터화 작업 없이MLP input에 넣기 위한 1D Flatten 작업만을 진행하면 되지만, 텍스트 데이터 전처리 text 데이터는 문자열 -> 토크나이..

자동차, 새, 고양이, 사슴 등 10가지 종류의 컬러 이미지 데이터(CIFAR-10) 분류하기이미지 크기 : 32 x 32 x 3(RGB 3채널) 이번 시간에는 정형 데이터가 아닌, 비정형 데이터(이미지 데이터)를 가지고 멀티 클래스를 분류하는 작업을 할 것이다! 비정형 데이터를 MLP에 학습 시키기 위해선 아래 작업이 우선시 되어야 한다!이미지 불러와서 MLP의 입력 형태로 바꿔주기정규화 해주기불러온 이미지 벡터 -> 1차원으로 Flatten 시키기 데이터 불러오기Compose : 여러개를 하나로 묶어서 순차대로 실행하도록 하는 객체ToTensor : 파이토치에서 처리하는 이미지 형식으로 만들어 주기Normalize : 평균 0이 되도록 정규화 실행(Lamda x : x.view -1) : 1차원으로..

똑같은 irsi 데이터를 갖고 서로 다른 loss를 사용하여 분류하고 성능 비교를 해보자! BCEWithLogitsLoss :이진 분류에 사용output node 개수 : 1개loss 내부적으로 sigmoid 사용input 데이터 target y : 2차원 [n,1] 형태 + float( dtype ) CrossEntropyLoss이진 분류 ~ 다중 분류에 사용output node 개수 : class 개수만큼loss 내부적으로 softmax 사용input 데이터 target y : 1차원 [n] 형태 + long( dtype ) 공통 사항 (데이터 불러오기 + train, test 나누기) 우선 iris 데이터를 불러와서 train_test_split를 해준다(BCEWithLogitsLoss, Cr..

그래프를 시각화 하다보면 해당 그림처럼 한국어 부분이 네모 낳게 표시되어 정상적으로 출력되지 않을 것을 볼 수 있다이때 gemini를 돌려보면 한국어 txt를 설치해주는 코드를 주는데 한국어 텍스트를 깔고 어떤짓을 해도 한국어가 출력되지 않는다ㅡㅡ,,, 해결 방법! 코드 두줄을 넣어주기! pip install koreanize_matplotlibimport koreanize_matplotlib 이후 한국어가 잘 출력되는 것을 확인 다만 귀찮은 점.코랩에서 실행시 매 파일마다 koreanize_matplotlib 라이브러리를 설치해줘야함

오해1 : 선형 모델의 그래프는 항상 직선이다?진실1 : 그래프 모양은 곡선일 수도 있다 선형성은 그래프의 모양이 아니라 모델의 파라미터가 선형적으로 결합되는지에 의해 결정된다. y = 2x^2 + 3의 경우 곡선의 모양을 띠고 있으나, 선형 회귀로 학습할 수 있다. ex) 선형 회귀y=w0​+w1​x+w2​x2+w3​x3그래프를 보면 곡선의 형태를 띄고 있으나, w0, w1, w2, w3에 대한 가중치에선 여전히 선형선을 띄고 있음! 비선형 함수 비선형 모델y=w0+w1^2xy=sin(w1x)y=e^w1x파라미터(가중치 w)가 제곱이 되거나, 지수함수에 들어가는 등 비선형성을 띔 -> 비선형 모델 오해 2 : 선형 모델은 복잡한 패턴을 학습하지 못한다? 진실 2 : Feature Engineeri..