machine_learning.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Day1, Machine Learning\n",
    "- - -\n",
    "## Machine Learing 개념\n",
    "1. 1960부터 나온 개념\n",
    "2. explicit program으로 해결할 수 없는 문제를 해결하기 위해서 생겨났다.\n",
    "\n",
    "## Machine Learning 분류\n",
    "1. 지도학습 (Supervised Learning)\n",
    "    * Linear regression\n",
    "    * Logistic regression ( = Binary classification )\n",
    "    * Multinomial regression\n",
    "2. 비지도학습 (Unsupervised Learning)\n",
    "3. 강화학습\n",
    "\n",
    "### 1. Supervised Learing\n",
    "- Label을 붙인 데이터를 통해 학습\n",
    "\n",
    "#### 1-1) Linear Regression ( Binary Classificaton)\n",
    "- 어떤 값이 나올지 예측하는 것이다.\n",
    "- ex> 어떤 점수를 받을지 예측하시오\n",
    "\n",
    "#### 1-2) Logistic regression ( = Binary classification )\n",
    "- 2가지 케이스로 분류하는 기법이다. (Yes/No)\n",
    "- ex> 합격할지 안할지 예측하시오\n",
    "\n",
    "#### 1-3) Multinomial regression\n",
    "- 여러개의 그룹 중 어디에 속하는지 분류하는 기법.\n",
    "- ex> A, B, C중에 어디에 속하는지 구하시오\n",
    "\n",
    "### 2. Unsupervised Learning\n",
    "- Label화 되지 않은 데이터를 통해 학습\n",
    "- News Grouping 같은 Case\n",
    "- 데이터를 통해 스스로 학습\n",
    "\n",
    "### 3. Unsupervised Learning\n",
    "- 각 경우의 수를 점수로 계산한다.\n",
    "- 가장 좋은 점수의 경우를 다음 학습에 반영한다.\n",
    "\n",
    "### +a Machine의 일반적인 응용\n",
    "- 이미지 검색\n",
    "- 고객등급 예측\n",
    "- 도난 신용카드 판별\n",
    "- 시험 성적 예측\n",
    "- 예상 매출액 산출"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* * *\n",
    "## 단순선형회귀 (Linear regression)\n",
    "> 3개의 점이 들어왔다고 가정)   \n",
    "3개의 점을 가장 잘 설명하는 가설 (linear hypothesis)를 찾고,   \n",
    "그 가설을 통해 다음 값을 예측하는 것이 __단순선형회귀__이다.    \n",
    "머신러닝의 기초가 되는 모델이다.\n",
    "\n",
    "- 머신러닝의 학습\n",
    "    - -> 입력된 값들을 가장 잘 설명하는 직선(hypothesis)를 찾는 것이다.\n",
    "    - 기울기와 bias를 계속 바꿔가면서 찾는다.\n",
    "    - 가장 잘 설명하는 직선(가설)을 찾으면 학습 종료\n",
    "\n",
    "\n",
    "- 입력되는 독립변수의 갯수에 따라 차원이 결정된다.\n",
    "    - 1개변수 입력, 1개의 결과값 -> 2차원 (직선)   \n",
    "    - 2개변수 입력, 1개의 결과값 -> 3차원 (평면)   \n",
    "    - 3개변수 입력, 1개의 결과값 -> 4차원 (입체, 초평면)   \n",
    "\n",
    "\n",
    "- 기준식(2차원)   : H = w * x + b\n",
    "\n",
    "- - -\n",
    "\n",
    "1. 최소제곱법\n",
    "    - 각 점의 제곱을 평균한값이 최소인 직선을 찾는다.\n",
    "    - ex) (a^2 + b^2 + c^2) /3 의 최소값\n",
    "    - 기준식에서 w, b를 계속 바꿔가면서 가장 작은 값이 나올 때까지 반복해서 찾아본다.\n",
    "    - Cost(w,b) = (1/n) * ~\n",
    "    - Cost 는 w에 대한 2차함수가 된다. -> 2차함수의 최소점 -> 꼭지점\n",
    "    - Cost 가 최소인 점을 찾으면 그 때의 w값이 우리의 가정에 적용된다.\n",
    "    - 구해진 식이 우리가 목표로 하는 식이다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- - -\n",
    "## Tensorflow\n",
    "   \n",
    "### 정의\n",
    "1. tensorflow는 google에서 지원하는 machine learning library 이다.\n",
    "2. 기존의 library와는 사용법이 약간 다르다.\n",
    "3. tensorflow는 graph를 그리는 library이다.\n",
    "\n",
    "### 구성\n",
    "tensorflow 는 크게 3가지로 구성된다.\n",
    "    1. Node : 데이터의 입출력을 담당, 데이터의 연산을 담당\n",
    "    2. Edge : Node와 Node를 이어주는 선\n",
    "    3. Tensor : 데이터를 나타내는 다차원 배열"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "30.0\n",
      "[30.0, 10.0]\n"
     ]
    }
   ],
   "source": [
    "# linear regression을 tensorflow를 이용해서 코드로 구현하기\n",
    "\n",
    "import tensorflow as tf\n",
    "\n",
    "#tf.constant => 상수 노드를 만드는 함수\n",
    "node1 = tf.constant(10, dtype = tf.float32) # 32비트 플롯데이터 타입의 10을 값으로 가지는 상수node를 만든다.\n",
    "node2 = tf.constant(20, dtype = tf.float32) # 32비트 플롯데이터 타입의 20을 값으로 가지는 상수node를 만든다.\n",
    "\n",
    "node3 = node1 + node2\n",
    "# 여기까지 되면 node가 3개 생성 된 것이다. (node1 -> 10), (node2 -> 20), (node3 -> + )\n",
    "\n",
    "\n",
    "# 그래프를 다 그렸으면 그래프를 실행시키는 runner가 필요\n",
    "sess = tf.Session()\n",
    "\n",
    "# print(sess.run(node1)) # sess.run(node1)은 node1을 실행시키라는 것이다.\n",
    "# print(node1) # node1의 형식 보기\n",
    "print(sess.run(node3)) # node3 실행\n",
    "print(sess.run([node3, node1])) # node3과 node1실행\n",
    "\n",
    "# ***여기에서 보이듯 상위노드(node3)를 실행시키면 하위노드(node1, node2)를 모두 실행시킨 결과를 갖는다.\n",
    "# 이번엔 상수노드를 만들었지만 값을 바꿀수 있는 노드를 만들 수 있다.\n",
    "# 그러한 노드를 place holder라고 한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "60.0\n"
     ]
    }
   ],
   "source": [
    "node1 = tf.placeholder(dtype = tf.float32) # 값이 없고, 32비트 플롯의 데이터타입을 갖는 노드를 생성한다.\n",
    "node2 = tf.placeholder(dtype = tf.float32) # 값이 없고, 32비트 플롯의 데이터타입을 갖는 노드를 생성한다.\n",
    "\n",
    "node3 = node1 + node2\n",
    "\n",
    "# 그래프를 다 그렸으면 그래프를 실행시키는 runner가 필요\n",
    "sess = tf.Session()\n",
    "\n",
    "# feed_dict : dictionary 형태로 데이터를 입력하겠어!\n",
    "print(sess.run(node3, feed_dict={node1: 20,\n",
    "                                node2 : 40})) \n",
    "# dictionary형태 {node1: 20, node2 : 40} 로 값을 입력하고, node 3를 실행한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 우리의 목표는 가설(hypothesis)를 만드는 것이다.\n",
    "# (가설) H = w * x + b\n",
    "\n",
    "###############\n",
    "# 1. training data set\n",
    "x_data = [1, 2, 3] # list로 하지 않고, tuple, ndarray등으로 다 해도 된다.\n",
    "y_data = [3, 5, 7]\n",
    "\n",
    "\n",
    "\n",
    "#####################\n",
    "# 2. placeholder 생성\n",
    "x = tf.placeholder(dtype = tf.float32)\n",
    "y = tf.placeholder(dtype = tf.float32)\n",
    "\n",
    "\n",
    "###########################\n",
    "# 3. Weight, bias 노드 생성\n",
    "# H = w * x + b\n",
    "# 이 식을 만드려면 w와 b를 만들어야 한다. -> 노드로 만든다.\n",
    "\n",
    "# 우리의 식이 1차함수이기에 w 하나만 만들면 된다.\n",
    "W = tf.Variable(tf.random_normal([1]), name=\"weight\") # 이름:weight, 값: (1*1 차원) 랜덤값의 W노드를 하나 생성\n",
    "b = tf.Variable(tf.random_normal([1]), name=\"bias\") # 이름:bias, 값: (1*1 차원) 랜덤값의 b노드를 하나 생성\n",
    "\n",
    "# tf.random_nomal([1]) -> 1차원으로 1개만 구한다.\n",
    "# tf.random_nomal([2]) -> 2차원으로 1개 구한다.\n",
    "# tf.random_nomal([1,2]) -> 1차원으로 2개 구한다.\n",
    "\n",
    "\n",
    "###############\n",
    "# 4. Hypothesis\n",
    "H = W * x + b # W, b 값을 가져와서 H도 노드가 된다.\n",
    "\n",
    "\n",
    "###############\n",
    "# 5. (Linear regression용?) cost function (loss function)을 만든다.\n",
    "cost = tf.reduce_mean(tf.square(H-y)) # H에서 y값을 뺀 것을 제곱해서 평균하라. (cost 식을 코드로 표현 한 것)\n",
    "# H(node)와 y(node)의 값을 가져오기에 cost도 노드가 된다.\n",
    "#tf.square -> 안의 내용물을 제곱하라.\n",
    "\n",
    "\n",
    "###############\n",
    "# 6. train\n",
    "# cost 값을 줄여가는 작업을 한다. -> 최소점을 구하기 위해\n",
    "# cost 값을 줄이기 위해서 알고리즘을 이용(Gradient Descent)\n",
    "# Gradient Descent : 경사하강법 / 가장 경사가 큰 값을 선택한다. (빠르게 최저점을 구할 수 있다.)\n",
    "train = tf.train.GradientDescentOptimizer(learning_rate = 0.01).minimize(cost)\n",
    "# Tensorflow의 GradientDescent알고리즘을 이용해서 cost값을 최소로하는 값을 구한다. 그 결과를 train에 저장한다.\n",
    "\n",
    "\n",
    "###############\n",
    "# 7. sess 초기화.\n",
    "# w, b가 random 값이기에 초기화 시켜줘야 사용 할 수가 있다.\n",
    "sess = tf.Session()\n",
    "sess.run(tf.global_variables_initializer()) # tensorflow의전체 variable 노드들을 초기화 시키는 함수.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "오늘 내용 정리\n",
    "numpy, pandas가 굉장히 중요한 이유?\n",
    " 앞부분 데이터 정돈하는 것이 데이터 분석에 굉장히 중요하다.\n",
    "\n",
    "텐서플로의 노드 학습한 이유?\n",
    "로지스틱 분석을 하기 위해서는 노드가 무엇인지 기본을 알아야 하기에 그것을 공부했다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Day 2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost값은 : 162.44203186035156\n",
      "cost값은 : 0.0014452474424615502\n",
      "cost값은 : 0.0003410288190934807\n",
      "cost값은 : 8.046605216804892e-05\n",
      "cost값은 : 1.8985818314831704e-05\n",
      "cost값은 : 4.482539679884212e-06\n",
      "cost값은 : 1.0599807183098164e-06\n",
      "cost값은 : 2.5163754457935283e-07\n",
      "cost값은 : 5.987757134562344e-08\n",
      "cost값은 : 1.4191546604536143e-08\n"
     ]
    }
   ],
   "source": [
    "# 8. train 학습\n",
    "\n",
    "for step in range(3000):\n",
    "    tmp_train, cost_val = sess.run([train, cost], \n",
    "                                   feed_dict = {x : x_data,\n",
    "                                               y : y_data})\n",
    "    # ( 1, 2 ) 튜플에 트레인 결과를 저장한다. x는 x_data 노드를, y는 y_data 노드를 사용한다.\n",
    "    \n",
    "    if step % 300 == 0 :\n",
    "        print(\"cost값은 : {}\".format(cost_val)) # 트레인 횟수가 300의 배수일 때 cost값을 보여준다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "    \n",
    "이렇게 나온 결과값을 통해서 모델이 맞았나 틀렸나는 알 수 없다.    \n",
    "다만 학습이 잘 되고 있다는 하나의 증표로 보면 된다.\n",
    "- - -\n",
    "여기에서는 식이 완성됐다고 가정한다, 이제 W, b 값이 정해졌다. -> 가정 완성\n",
    "X에 값을 대입하면 완성된 식을 이용 할 수 있다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[41.00119]\n"
     ]
    }
   ],
   "source": [
    "# 9. predict 예측\n",
    "\n",
    "print(sess.run(H, feed_dict={x:20}))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "    \n",
    "이렇게 하나의 간단한 학습 모형이 완로되었다.\n",
    "- - -"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 위에서 한 모형은\n",
    "# Machine learning \n",
    "#  -> superviesd learing (지도학습) \n",
    "#   -> Simple linear regression (단순선형회귀)\n",
    "# 이다.\n",
    "\n",
    "# 이제부터 할 모형은\n",
    "# Machine learning \n",
    "#  -> superviesd learing (지도학습) \n",
    "# Multiple linear regression (다중 선형회귀)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Multiple linear regression\n",
    "\n",
    "\n",
    "#### 분류\n",
    "위에서 한 모형은\n",
    "Machine learning      \n",
    "    -> superviesd learing (지도학습)     \n",
    "        -> Simple linear regression (단순선형회귀)\n",
    "이다.\n",
    "\n",
    "이제부터 할 모형은    \n",
    "Machine learning     \n",
    "    -> superviesd learing (지도학습)     \n",
    "        -> Multiple linear regression (다중 선형회귀)\n",
    "\n",
    "\n",
    "### 식\n",
    "- Simple linear regression 식은    \n",
    "H(x) =  W * x + b였다.\n",
    "- Multiple linear regression 식은    \n",
    "H(x1, x2, x3) = W1 * x1 + W2 * x2 + w3 * x3 + b 이렇게 된다.\n",
    "- 항이 여러개 이기에, 행렬 곱, 매트릭스로 표현하는 것이 훨씬 깔끔하다.\n",
    ">\n",
    "              (w1)\n",
    "(x1, x2, x3) * (w2)\n",
    "              (w3)\n",
    " 이렇게 표현 할 수있다.<\n",
    " \n",
    " 이제부터 x의 행렬을 X로, w의 행렬을 W로 표현한다.\n",
    " 이를 간다하게 나타내면,\n",
    " H = X * W + b가 된다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python [conda env:data_env] *",
   "language": "python",
   "name": "conda-env-data_env-py"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}