No Story, No Ecstasy

큰 꿈을 품고 대기업에 입사했지만, 큰 꿈을 품고 대기업을 퇴사했다. (1) 입사 전, (2) 첫 번째 팀, (3) 두 번째 팀, 지난 18개월의 생각을 3개의 시간으로 나눠 정리했다. (1) 성장성-안정성, 유연함-단단함 그 사이 어딘가 Too Big To Innovate : 대감집 체험기 (1) 1장. 성장성-안정성, 유연함-단단함 그 사이 어딘가 대감집에 입사하기 전, 나는 중소기업에서 S/W 개발자로 사회생활을 시작했다. 당시 회사는 개인의 능력만 봤을 때 뛰어난 사람들이 많았다. heave.tistory.com (2) 확신할 수 없는 확신, 효율적으로 주어진 역할에 맞게 Too Big To Innovate : 대감집 체험기 (2) 2-1. 확신할 수 없는 확신 첫 부서에서 실무를 하기 전, 신입..

http://www.yes24.com/Product/Goods/13107672 회사를 떠나기 3년 전 3년이면 충분하다, 평생을 지켜주는 나의 일!생애와 경력설계부터 네트워크, 마인드, 비즈니스 로드맵까지.직장에서도 직장을 떠나서도 항상 빛나는 내가 되는 법.쫓기는 삶은 사양한다. 보다 www.yes24.com "책은 인생 최고의 학위다. 평범함에서 비범함으로 도약하는 발판이다." 저자의 메시지는, 적어도 나에게는, 그렇게 새롭지는 않았다. 오병곤 작가는 내가 많이 고민했던 부분들을 한 발 앞서, 더욱 깊게 고민해본 사람이었다. 정말 간단히는, 어디서든 가치 있는 사람이 되기 위한 전문성을 갖춰야 한다는 것이다. 그러나, 어느 책이든 그러하듯, 내게 질문을 던져 주었다. 내가 책으로 쓰고 싶은, 사람들에..

Attention 메커니즘이란? . 딥러닝 모델이 특정 벡터에 주목하게 만들어 모델의 성능을 높이는 기법 . RNN에서 인코더가 입력을 벡터로 압축시 일부 정보가 손실되는 것을 보정하는 용도로 활용 . Transformer에서는 인코더와 디코더를 만드는데 직접적으로 사용됨 Attention 개발 동기 . 기계번역을 위한 Sequence-to-sequence 모델에서, 모델의 정확도를 높이기 위해 제안됨 . 소스 랭귀지와 타겟 랭귀지의 길이가 길어질수록 모델의 성능이 나빠진다. . 모델로 하여금 '중요한 부분만 집중하게 만들자'가 어텐션 메커니즘의 핵심 아이디어 Attention 핵심 아이디어 . 기본 가정: 인코더가 만든 벡터와 디코더가 예측시 사용하는 벡터가 유사할 것이다. . Q (query), K ..

1. Transformer . 자연어 처리 분야에서 기존 RNN 계열의 모델들이 갖고 있던 문제를 해결해줌 . 기존의 순차적인 연산에서 벗어나 병렬처리가 가능한 모델로 우수한 성능을 보임 . Multi-head self-attention을 이용해 순차적 연산을 줄이고, 더 많은 단어들 간 dependency를 모델링하는 게 핵심 . 대표적인 모델이 BERT (Bidirectional Encoder Representations from Transformers) . 2020년에는 기존 GPT 모델의 크기를 비약적으로 키운 GPT-3가 등장 . BERT와 달리 GPT-3는 디코더 기반 fine-tuning이 필요 없음 . Few-Shot Learning만으로도 응용 태스크에서 우수한 성능을 달성함 2. 기계번..

오토인코더 . 레이블되어 있지 않은 훈련 데이터를 사용해서 입력 데이터의 효율적인 표현인 코딩을 학습할 수 있는 인공 신경망 . 일반적으로 출력이 입력보다 훨씬 낮은 차원을 가지므로 차원 축소에도 유용하게 사용됨 . 더 중요한 점은 강력한 특성 추출기로 활용할 수도 있다는 것 . 훈련 데이터와 매우 비슷한 새로운 데이터를 생성할 수 있다. (Generative Model) . 대표적인 방법 1. 은닉층의 뉴런 수를 입력층보다 적게 제한한다 2. 입력에 잡음을 추가한 후 원본 입력을 복원할 수 있도록 네트워크를 훈련시킨다. -> 단순히 입력을 바로 출력으로 복사하지 못하게 막고, 데이터를 효율적으로 표현하는 방법을 배우도록 강제시킴 . 항상 입력을 내부 표현으로 바꾸는 인코더와 내부 표현을 출력으로 바꾸는..

1. Vanishing Gradient (or exploding gradient) 문제 해결 - Vanishing Gradient란? . 알고리즘이 하위층으로 진행될수록 그래디언트는 점점 작아지게 된다(연쇄적으로 계산하기 때문). . 어떤 경우에는 특정 층의 가중치가 비정상적으로 커져서, 알고리즘이 발산할 수도 있다. (예: RNN) . 심층 신경망이 오랫동안 방치되었던 이유 중 하나 - 중요한 발견: 로지스틱 시그모이드 함수와 표준정규분포를 사용한 가중치 무작위 초기화의 문제 . 이 조합으로 훈련 시, 각 층에서 출력의 분산이 입력의 분산보다 크다는 것을 발견 . 신경망의 위쪽으로 갈수록 분산이 계속 커져 가장 높은 층에서는 활성화 함수가 0이나 1로 수렴 . 로지스틱 함수의 평균이 0.5라는 사실 때..

* 이 글은 rupert님의 블로그의 토픽 모델링 관련 글들을 공부하여 정리한 글입니다. https://bab2min.tistory.com/567?category=673750 [잠재 디리클레 할당 파헤치기] 1. 베이즈 추론 작년에 토픽 모델링이라는 개념을 접하고 깜짝 놀랐어요. 그냥 적당한 크기의 문헌들을 넣어주면 거기에서 적절하게 컴퓨터가 연관된 단어들을 묶어서 주제 분포를 만들어주고, 문헌별로 주제 bab2min.tistory.com 0. 토픽 모델이란 문서에 등장하는 단어들의 분포를 통해 잠재적인 주제를 발견하는 통계적 알고리즘 1. 베이즈 추론 - 토픽 모델링 알고리즘 LDA는 베이즈 추론에 기반한다. - 베이즈 추론의 순서 1. 어떤 사건이 발생할 확률을 가정 2. 추가적인 관측 발생 시, 그..

순차 패턴 분석 순차 패턴 분석 시간과 순서를 고려한 연관분석이다. 연관 분석은 항목 간 발생 순서는 중요하지 않지만, 순차 패턴 분석에서는 항목 간 발생 순서가 중요한 요소다. 동 분석에 활용하는 데이터는 (1) 트랜잭션 데이터 셋, (2) Identity 정보, (3) Timestamp이며, 오직 Support 값을 활용하여 유용성을 평가한다. 예를 들면, 고객이 버튼 A à B à C 순서로 선택한 지지도가 최소 지지도 이상이면 해당 순차 패턴은 빈발 패턴이므로 중요하게 고려되어야 한다. GSP (apriori-based sequential pattern mining) 첫 DB 스캔 시 length 1의 sequence candidates를 구성하고, 최소 지지도 미만의 후보들을 제외한다. 두 번째..