Albothyl 정리노트.

Validation 회귀분석 모형을 만들기 위해서는 모수 추정 즉 학습(training)을 위한 데이터 집합이 필요하다. 이 데이터 집합을 학습용 데이터 집합(traning data set)이라고 한다. 이 학습 데이터 집합의 종속 변수값을 얼마나 잘 예측하였는지를 나타내는 성능을 표본내 성능 검증(in-sample testing)이라고 한다. 회귀분석 모형을 만드는 목적 중 하나는 종속 변수의 값을 아직 알지 못하고 따라서 학습에 사용하지 않은 표본의 대해 종속 변수의 값을 알아내고자 하는 것 즉 예측(prediction)이다. 이렇게 학습에 쓰이지 않는 표본 데이터 집합의 종속 변수 값을 얼마나 잘 예측하는가를 검사하는 것을 표본외 성능 검증(out-of-sample testing) 혹은 교차검증(c..

1. Outlier - novelty detection : 새로운 값이 들어왔을 때, 그 값이 기존의 분포에 적합한 값인지 아닌지를 구별해 내는 방법 - outlier detection : 현재 가지고 있는 값들 중에서 이상치를 판별해는 방법 종류 구분 설명 One-class SVM Novelty Novelty를 위한 방법론으로 처음 관측 분포의 윤곽선을 새로운 차원 공간에 그려 놓고 추가 관측치가 경계로부터 구분된 공간 내에 있으면 초기 관측치와 같은 집단, 그렇지 않으면 비정상 데이터라고 간주한다. Fitting an elliptic envelope Outlier 이 방법론은 데이터 분포에 대한 가정이 필요하다. inlier 데이터가 가우스 분포라고 가정하면 inlie 위치 및 공분산을 추정할 수 있..

Install Anaconda (python 3.x) Anaconda ? Python 및 주로 사용되는 1,400개의 패키지와 데이터 과학 패키지들이 포함되어 있다. 쉽게 가상환경을 만들고 버전 관리를 할 수 있는 도구이다. https://www.anaconda.com/distribution/#download-section Launch Launch Jupyter Lab Develop Machine Learning Using Scikit-Learn

docker pull tensorflow/tensorflow:latest-py3-jupyter docker run -it -p 8888:8888 tensorflow/tensorflow:nightly-py3-jupyter https://www.tensorflow.org/install

선형회귀란? (linear regression) "데이터를 반복적으로 관찰하면 어떤 패턴으로 회귀한다"는 것을 의미한다. 선형 회귀는 이 패턴이 직선의 모습을 하고 있는데 'y = wx + b'라는 1차 방정식으로 표현된다. 예를 들어, 거리에 따른 택시요금 데이터가 있을때 이를 사용하여 방정식의 w와 b값을 구한다. 그러면 새로운 거리인 x가 주어졌을때 택시요금 y를 추정할 수 있다. 방법 최소제곱법: 유명한 수학자인 가우스가 1795년 발견하였는데 특정 공식을 사용하여 w와 b를 계산한다. 가능한 모든 가중치의 조합을 계산하는 방식은 데이터의 크기가 방대할 경우, 연산 속도가 너무 느려지기 때문에 현실적으로 구현하기에는 어렵다. 하지만 error surface에서 global minimum이 존재한다..