No Story, No Ecstasy

1. Neural Networks - 퍼셉트론: 각 노드의 입력치*가중치의 합과 활성 함수에 의하여 해당 노드의 활성화 여부가 결정되는 간단한 feedforward 인공 신경망 - 다층 퍼셉트론과 역전파 - 입력층, 은닉층, 출력층으로 구성된 인공 신경망을 다층 퍼셉트론, 은닉층이 2개 이상일 때 심층 신경망이라고 표현 - 역전파 알고리즘은 네트워크의 출력 오차에 각 뉴런이 얼마나 기여했는지를 마지막 은닉층부터 측정하여, 이전 은닉층의 뉴런은 얼마나 기여했는지 입력층에 도달할 때까지 계속 측정하는 것을 의미한다. - 이렇게 역방향으로 계산한 오차 그래디언트를 네트워크의 모든 연결 가중치에 반영한다(경사 하강법). - 역전파 알고리즘을 위한 대표적 활성화 함수: 로지스틱, 하이퍼볼릭 탄젠트, ReLU 함수..

0. Ensemble - 주어진 데이터로부터 여러 개의 예측 모형들을 만든 후 조합하여 하나의 최종 예측 모형을 만드는 기법 1. Bagging - Bootstrap을 활용하여 여러개의 예측모형을 만든 후 결합하여 최종 예측 모형을 만드는 기법 - 여러 예측 모형들의 Voting을 통한 다수결로 분류 결과를 결정한다. - R 코드 예제 # 0. package import library(adabag) # 1. bagging 모델 생성 ## - mfinal: the number of trees to use (= the number of iterations for which bootstrapping is run) bg.model = bagging(y~., train_data, mfinal = 15, contr..

1. Logistic Regression (로지스틱 회귀분석) - 종속 변수가 범주형(category, factor)인 (주로 binomial인) 경우에 적용되는 로지스틱 함수를 활용한 기법 - 종속 변수의 각 레벨이 속할 확률을 추정하여, 기준치에 따라 분류한다. - 최대 우도 추정법을 활용하여 모델의 계수를 추정한다. - 종속 변수의 레벨이 3개 이상인 경우에는 Multinomial Logistic Regression을 적용하면 된다. - 링크 1: datasciencebeginners.com/2018/12/20/multinomial-logistic-regression-using-r/ Multinomial Logistic Regression Using R | Data Science Beginners ..

1. Correlation Analysis, 상관 분석 - 두 변수 간 상관관계를 통계적으로 알기 위한 통계분석 방법 (* 인과관계가 아님) - 상관계수 3종류 (1) Pearson: 두 변수가 모두 정규분포를 따를 시 선형적인 상관관계의 크기를 모수적 방법으로 나타냄 (2) Spearman: 정규분포가 아닌 연속형 변수 or 순서형 변수일 경우, 순위 상관관계의 크기를 비모수적으로 나타냄 (데이터 내 편차와 에러에 민감, 보통 Kendall보다 높음) (3) Kendall: 변수 간 순위의 일치도가 비슷한 정도를 나타냄 (샘플 사이즈가 적거나, 데이터 동률이 많을 때 유용) - R 코드 예제 # 1. 상관 계수 결정을 위한 정규성 검정 shapiro.test(data) # 2. 상관 분석 수행 ## -..

1. Hierarchical Clustering (계층적 군집분석) - 유사한 데이터들을 거리 기반으로 점진적으로 병합(bottom-up)하거나 분할(top-down)하는 계층 기법 - 단계를 거칠 때마다 그룹의 개수가 단조적으로 증가/감소하기 때문에 그룹 형성 과정을 계층적으로 표현할 수 있다. - 데이터 연결 방법: 최단연결법, 최장연결법, 평균연결법, 와드연결법 - R 코드 예제 # 0. 별도의 package import 필요 없음 # 1. 데이터 간 거리 구하기 ## - 거리: euclidean, maximum, manhattan, canberra, binary, minkowski ha.dist = dist(data, method = "euclidean") # 2. 계층적 군집분석 수행 ## - ..

0. 차원 축소 - Feature 수를 크게 줄이는 것으로, 모델의 훈련 속도를 높이거나 데이터 시각화를 위해 사용된다. - Feature 수가 늘어날수록 샘플의 밀도는 기하급수적으로 낮아진다. (=과대 적합 위험이 커진다.) - 투영과 매니폴드 학습 접근법 - 투영: 저차원 부분공간(평면)에 놓여 있다고 가정하여, 저차원으로 투영시키는 것 - 매니폴드 학습: 휘어지거나 뒤틀린 저차원 공간에 놓여있다고 가정하여 매니폴드 공간을 찾는 것 1. PCA (Principal Component Analysis) - 저차원의 초평면에 훈련 세트를 투영시키는 차원 축소 알고리즘이다. - 분산이 최대로 보존되는 축(원본 데이터 셋과 투영된 것 사이의 평균제곱거리를 최소화)을 찾아야 한다. - 주성분은 특잇값 분해(SV..

1. 결측치 처리 - R 코드 예제 # 1. na 개수 sum(is.na(data)) # 2. na가 있는지 확인 complete.cases(data) # 3. 결측치 처리 data$col1 = ifelse(is.na(data$col1), mean(data$col1, na.rm=T), data$col1) library(DMwR) # ***꼭 data.frame을 넣어야 한다. data = centralImputation(data) # na를 median으로 대체 data = centralValue(data) # 숫자는 중앙값, facor는 최빈값으로 대체 2. 이상치 확인 - R 코드 예제 # 1. 사분위수 quantile(data, prob = seq(0, 1, 0.25), na.rm = F) quan..