3.3 네이버금융 개별종목 수집-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "pOdYzjmEAGhg"
   },
   "source": [
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/finance-data-analysis/blob/main/3.3%20%EB%84%A4%EC%9D%B4%EB%B2%84%EA%B8%88%EC%9C%B5%20%EA%B0%9C%EB%B3%84%EC%A2%85%EB%AA%A9%20%EC%88%98%EC%A7%91-input.ipynb)\n",
    "\n",
    "\n",
    "## 네이버 금융 개별종목 수집\n",
    "* FinanceDataReader를 통해 수집했던 데이터를 네이버 증권 웹 페이지를 통해 직접 수집합니다.\n",
    "\n",
    "\n",
    "### Keyword\n",
    "\n",
    "* html 파일 읽어오기\n",
    "    * pd.read_html(url, encoding=\"cp949\")\n",
    "\n",
    "* 결측 데이터 제거하기(axis 0:행, 1:열)\n",
    "    * table[0].dropna()\n",
    "\n",
    "* 데이터 프레임 합치기\n",
    "    * pd.concat([df1, df2, df3])\n",
    "\n",
    "* 중복데이터 제거\n",
    "    * df.drop_duplicates()\n",
    "\n",
    "* 과학적 기수법\n",
    "    * 1.210000e+02 => 121\n",
    "\n",
    "* 날짜 column의 첫 row값 확인\n",
    "    * date = df.iloc[0][\"날짜\"]\n",
    "\n",
    "* 파일로 저장하기 \n",
    "    * df.to_csv(file_name, index=False)\n",
    "\n",
    "* 파일 읽어오기\n",
    "    * pd.read_csv(file_name)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "-lIn4AdJTMkA"
   },
   "source": [
    "## 수집할 페이지 보기\n",
    "\n",
    "* 네이버 금융 국내증시 : https://finance.naver.com/sise/\n",
    "* 2020년 주요 상장종목\n",
    "    * 빅히트 : https://finance.naver.com/item/main.nhn?code=352820\n",
    "    * 카카오게임즈 : https://finance.naver.com/item/main.nhn?code=293490\n",
    "    * SK바이오팜 : https://finance.naver.com/item/main.nhn?code=326030"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 라이브러리 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "6Mm8vuymTMkA"
   },
   "outputs": [],
   "source": [
    "# 라이브러리 로드\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 수집할 URL 정하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "QzZJoAvoTMkA"
   },
   "outputs": [],
   "source": [
    "# 종목번호와 상장사 이름을 item_code와 item_name으로 설정\n",
    "# item_code = \"352820\"\n",
    "# item_name = \"빅히트\"\n",
    "\n",
    "item_code = \"326030\"\n",
    "item_name = \"SK바이오팜\"\n",
    "\n",
    "# 종목 URL 만들기\n",
    "# url"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## requests를 통한 HTTP 요청\n",
    "* [Requests: HTTP for Humans™ — Requests documentation](https://requests.readthedocs.io/en/master/)\n",
    "* [Quickstart — Requests documentation # custom-headers](https://requests.readthedocs.io/en/latest/user/quickstart/#custom-headers)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## BeautifulSoup 을 통한 table 태그 찾기\n",
    "\n",
    "* [Beautiful Soup Documentation — Beautiful Soup 4.9.0 documentation](https://www.crummy.com/software/BeautifulSoup/bs4/doc/)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## pandas 코드 한 줄로 데이터 수집하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "T3e0Jt0mTMkA"
   },
   "outputs": [],
   "source": [
    "# read_html을 이용하여 url의 page내의 값을 DataFrame으로 받아옵니다.\n",
    "# cp949는 한글 인코딩을 위해 사용합니다. 기본 인코딩 설정은 utf-8 이며, \n",
    "# 네이버의 일별 시세는 cp949 인코딩으로 불러올 수 있습니다.\n",
    "# 데이터를 로드 했을 때 한글 인코딩이 깨진다면 대부분 cp949 로 불러올 수 있습니다.\n",
    "# table"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "GQ_LCYp0TMkA"
   },
   "outputs": [],
   "source": [
    "# table[0]와 table[1]을 확인하여 보면 table[0]에 필요한 데이터들이 있습니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "0gI1rNUbTMkA"
   },
   "outputs": [],
   "source": [
    "# dropna를 통해 결측치가 들어있는 row를 제거합니다.\n",
    "# temp"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "CKhsb94wTMkA"
   },
   "source": [
    "## 페이지별 데이터 수집 함수 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "gJugcyoiTMkA"
   },
   "outputs": [],
   "source": [
    "# 종목 번호를 이용해 page에 따라 데이터를 읽어오는 함수\n",
    "# \"\"\" 는 이 두개 사이의 행들은 주석 처리되며, 함수의 docstring 으로 사용됩니다.\n",
    "\n",
    "# def get_day_list(item_code, page_no):\n",
    "# \"\"\"\n",
    "# 일자별 시세를 페이지별로 수집\n",
    "# \"\"\" "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "evjinapgTMkA"
   },
   "outputs": [],
   "source": [
    "# 함수가 잘 만들어졌는지 확인하기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "uuaac8XTTMkA"
   },
   "source": [
    "## 반복문을 통한 전체 일자 데이터 수집하기\n",
    "* (주의) 기간이 긴 데이터를 수집할때는 서버에 부담을 주지 않기 위해 time.sleep()값을 주세요."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "EQs1C6C_TMkA"
   },
   "outputs": [],
   "source": [
    "import time\n",
    "# web page 시작번호\n",
    "page_no = 1\n",
    "# 데이터를 저장할 빈 변수 선언\n",
    "item_list = []\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "iEFBJv5XTMkA"
   },
   "source": [
    "## 수집한 데이터 하나의 데이터프레임으로 합치기\n",
    "\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/merging_concat_basic.png\">\n",
    "\n",
    "* [Merge, join, concatenate and compare documentation](https://pandas.pydata.org/docs/user_guide/merging.html#merge-join-concatenate-and-compare)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "mUcxeTMFTMkA"
   },
   "outputs": [],
   "source": [
    "# DataFrame들이 list의 형태로 저장된 것을 concat을 이용하여 합치면서 하나의 DataFrame으로 만듭니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"https://pandas.pydata.org/docs/_images/08_concat_row.svg\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "Ep3NWfM-TMkA"
   },
   "outputs": [],
   "source": [
    "# head와 tail로 데이터의 일부를 가져와서 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "hHcKUo8iTMkA"
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "DdML6w8yTMkA"
   },
   "source": [
    "## 데이터프레임에 종목코드와 종목명을 추가하기\n",
    "* 파생변수 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "-yIDnlZHTMkA"
   },
   "outputs": [],
   "source": [
    "# '종목코드'와 '종목명' column을 추가하면서 각각 item_code와 item_name 값을 입력합니다.\n",
    "# df[\"종목코드\"]\n",
    "# df[\"종목명\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "bwDA0C4PTMkA"
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "3RlnKPE1TMkA"
   },
   "source": [
    "## 컬럼 순서 변경하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "JblNSbuRTMkA"
   },
   "outputs": [],
   "source": [
    "# DataFrame에서 column 들의 이름을 순서를 조정하여 column순서를 변경할 수 있습니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "cols = ['종목코드', '종목명', '날짜', '종가', '전일비', '시가', '고가', '저가', '거래량']\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "_-SXjeiSTMkA"
   },
   "source": [
    "## 중복데이터 제거하기\n",
    "* drop_duplicates 를 통해 중복된 데이터가 있다면 제거합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "F0VZGMNRTMkA"
   },
   "outputs": [],
   "source": [
    "# drop_duplicates : row들 끼리 data를 비교하여 같은 값이 있으면 row중 하나를 삭제\n",
    "# df.shape를 전/후로 출력하여 삭제된 row가 있는지 확인\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "viEbEi4iTMkB"
   },
   "source": [
    "## 기술통계값 구하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "Q-gV-QPPTMkB"
   },
   "outputs": [],
   "source": [
    "# describe는 기본적으로 수치데이터에 대한 기술통계값을 구하게 됩니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* 참고 : E notation\n",
    "[과학적 기수법 - 위키백과, 우리 모두의 백과사전](https://ko.wikipedia.org/wiki/%EA%B3%BC%ED%95%99%EC%A0%81_%EA%B8%B0%EC%88%98%EB%B2%95)\n",
    "\n",
    "과학적 기수법, 과학적 표기법(scientific notation, scientific form, standard index form, standard form)은 너무 크거나 너무 작은 숫자들을 십진법으로 편하게 작성하여 표현하는 방법이다. 과학자, 수학자, 공학자들이 공통적으로 사용하는데, 부분적인 이유는 특정한 산술을 단순화시켜 주기 때문이다. 과학 계산기에서는 \"SCI\" 디스플레이 모드라는 이름으로 알려져 있다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 거래량의 과학적 기수법 읽기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Ql0phnyuTMkB"
   },
   "source": [
    "## 최근 날짜 구해서 파일명 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "_dyLUpVVTMkB"
   },
   "outputs": [],
   "source": [
    "# 날짜 column의 첫 row값 확인\n",
    "# date"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "teInPugvTMkB"
   },
   "outputs": [],
   "source": [
    "# 종목명, 종목코드, 날짜를 이름으로 하는 csv 파일명 만들기\n",
    "# file_name\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "1LXe-dutTMkB"
   },
   "source": [
    "## 파일로 저장하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "dBRXOwIxTMkB"
   },
   "outputs": [],
   "source": [
    "# 파일로 저장하기 \n",
    "# index=False 로 데이터프레임의 기본 index 는 저장하지 않도록 합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "EEfm9Yk9TMkB"
   },
   "outputs": [],
   "source": [
    "# 제대로 저장되었는지 파일을 읽어서 확인합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 전체 과정을 하나의 함수로 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# def get_item_list(item_code, item_name):\n",
    "#     \"\"\"\n",
    "#     일별 시세를 수집하는 함수\n",
    "#     \"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# item_code = \"352820\"\n",
    "# item_name = \"하이브\"\n",
    "# 빅히트의 사명이 하이브로 변경되었습니다.\n",
    "\n",
    "item_code = \"326030\"\n",
    "item_name = \"SK바이오팜\"\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 내가 만든 함수의 기능과 소스코드가 궁금하다면?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 도움말 보기\n",
    "# get_item_list?\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 소스코드 보기\n",
    "# get_item_list??\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "3. 네이버금융 개별종목 수집.ipynb",
   "provenance": [],
   "toc_visible": true
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "204.797px"
   },
   "toc_section_display": true,
   "toc_window_display": true
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}