No Story, No Ecstasy

순차 패턴 분석 순차 패턴 분석 시간과 순서를 고려한 연관분석이다. 연관 분석은 항목 간 발생 순서는 중요하지 않지만, 순차 패턴 분석에서는 항목 간 발생 순서가 중요한 요소다. 동 분석에 활용하는 데이터는 (1) 트랜잭션 데이터 셋, (2) Identity 정보, (3) Timestamp이며, 오직 Support 값을 활용하여 유용성을 평가한다. 예를 들면, 고객이 버튼 A à B à C 순서로 선택한 지지도가 최소 지지도 이상이면 해당 순차 패턴은 빈발 패턴이므로 중요하게 고려되어야 한다. GSP (apriori-based sequential pattern mining) 첫 DB 스캔 시 length 1의 sequence candidates를 구성하고, 최소 지지도 미만의 후보들을 제외한다. 두 번째..

강화학습 Reinforcement Learning (강화 학습) 에이전트가 관측을 하고 주어진 환경에서 행동을 하면 보상을 받을 때, 보상의 장기간 기대치를 최대로 만드는 행동을 학습하는 것이다. 보상을 얻기 위해서는 특별하지 않은(보상=0) 행동들이 꼭 필요하며, 에이전트는 어떤 행동이 실제로 보상을 발생시켰는지 연결고리를 찾아서 “지연된 보상”을 얻어야 한다. Markov Decision Process 모든 상태는 그 직전 상태와, 그 상태에서 에이전트의 행동만이 영향을 미친다고 가정(Markov property)한 프로세스. 정책(행동을 결정하기 위한 알고리즘)을 결정하는데 가장 기본적인 가정으로 많이 쓰인다. The Bellman Equation 상태 s에서 행동 a를 취할 때 받을 수 있는 모든..

Python과 가상 환경 Python에서는 사소한 모듈들의 버전 차이로 인해 에러가 발생하는 경우가 있다. 때문에 패키지들 간 버전 호환성을 유지하는 것이 중요하다. 하지만 매 프로젝트마다 패키지들의 버전을 조정하는 것은 매우 비효율적인 일이다. 따라서, 가상 환경을 통해 각 프로젝트에 맞는 버전과 모듈을 활용한다. 관련 tool에는 pyenv, pyenv-virtualenv, poetry, anaconda 등이 있다. MongoDB - 장점: RDB와 개념이 유사하여 사용법이 비슷하다(쿼리 변환기도 있음). RDB 대비 Read & Write 성능이 월등하다. 스키마 관리가 필요 없다. 샤드(Shared Disk) 추가가 간편하다(rebalancing은 불가능). Index 기능을 제공한다. - 단점:..

D3.js D3.js: Data-Driven Documents. JavaScript 자바스크립트 기반의 라이브러리 언어로, 사용자가 정의한 시각화 규칙을 바탕으로 데이터를 웹에 시각화해준다. HTML5의 SVG (Scalable Vector Graphic)을 활용하여 다양한 크기의 화면에서 깨짐 없이 시각화할 수 있다. Loading, Selecting/Binding, Transform, Transition 동작으로 이루어진다. SVG 웹 용 벡터 그래픽으로, 인터넷 익스플로러 8 이하를 제외한 모든 브라우저에서 HTML 문서에 직접 포함/삽입할 수 있다. D3 메서드는 입력으로 출력의 참조를 활용한다. 메서드 체인을 구성하여, 코드 한 줄에 여러 동작을 실행하도록 개발한다. Grouping Elemen..

Google BigQuery의 특징 클라우드 환경의 Data Warehouse로, PB 급의 데이터 저장 및 분석용 서비스다. 관계형 구조를 가지지 않는 NoSQL 기반의 데이터 저장소이지만, RDBMS처럼 사용할 수 있는 SQL를 제공한다. - Serverless: 별도의 운영 환경 세팅이 필요 없다. - SQL 활용: 일반 SQL을 통해 데이터 조회가 가능하다. (레코드 형식의 필드인 경우 unnest 함수를 통해 flatten 작업 필요) - 3중 복제: 3중 복제로 인하여 데이터 안정성 보장 (하둡과 동일) - REST API를 활용한 배치, 스트리밍 기능을 모두 지원 Google BigQuery의 데이터 구조 - Project: 최상위 컨테이너. 다수의 Data Set 소유 가능. 사용자와 Da..

어절, 혹은 문장을 최소 의미 단위인 형태소로 분절하는 것을 뜻한다. 대표적으로는 python의 KoNLPy library가 있으며, Hannanum, Kkma, Komoran, Okt 품사 태깅 옵션을 제공한다. BERT 사전 훈련 언어 모델을 뜻한다. 각 언어는 서로 비슷한 뜻을 가질 수도, 상반된 뜻을 가질 수도 있다. 단어의 의미를 벡터로 표현(Embedding)하여, 단어 간 유사성을 (비슷한 벡터 값을 가짐으로써) 나타내는 것이 목적이다. BERT는 사전 훈련 Embedding을 통해 단어 간 유사성을 잘 나타내도록 만들어진 모델이다. 한글은 SKT의 KoBERT가 좋은 성능을 보인다고 알려져 있다. 디리클레(Dirichlet) 분포 베타 분포는 사건이 발생한 횟수가 번, 발생하지 않은 횟수가..

list_of_list = [[0]*n for i in range(n)] 위처럼 선언해야 한다. 1차원 배열 선언하듯이 [[0]*n]*n 이렇게 하면, 내부의 모든 리스트들을 같은 객체로 인식한다. 따라서 list_of_list[1][1] = 1 하면 모든 list의 첫 번째 element가 1로 바뀐다.

- 파일 구성 . public/index.html : 실제 메인페이지 . App.js의 내용을 index.js가 index.html에 넣어주는 것이다. . node_modules: library 모아두는 곳 . public: static 파일 보관함 (압축이 안 됨) . package.json: 설치한 라이브러리들이 메모되는 곳 - JSX (데이터 바인딩) . className으로 클래스명을 선언한다. . App.css에서 스타일 수정 . {} 안에 변수명을 그대로 넣어준다. 예: { 변수명, 함수 등 } . 뭐가 되었든 변수로 선언하고 싶으면 중괄호를 사용하면 된다. . style을 설정할 때도 무조건 중괄호 안에 object 자료형을 넣는다. . Image는 import해와서 사용한다. . 주석처리 ..