Docker.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 1. Vsodeのインストール\n",
    "お使いのインストーラーをダウンロードしてインストールしてください   \n",
    "https://code.visualstudio.com/download\n",
    "\n",
    "## Remote Extension \n",
    "以下の拡張機能を入れます  \n",
    "https://marketplace.visualstudio.com/items?itemName=ms-vscode-remote.vscode-remote-extensionpack"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 2. Docker Desktopをインストールします\n",
    "\n",
    "ご自身の環境に合わせてインストールください  \n",
    "https://www.docker.com/get-started\n",
    "\n",
    "\n",
    "メモリを6GBに設定しておくと動作も軽快で便利です  \n",
    "![図1.2 Dockerのメモリ設定](images/docker_memory.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 3. VsCodeからコンテナにアクセス\n",
    "VsCodeからコンテナにアクセスを行います(画面は変わったように見えないかもしれないですが変わっています)。\n",
    "\n",
    "以下の画像のボタンからpyspark_settingsフォルダを選択します\n",
    "\n",
    "![図1.2 VsCodeからコンテナにリモート接続します](images/docker-remote.png)\n",
    "\n",
    "![図1.2 VsCodeからコンテナにリモート接続します](images/remote_open.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# ここからコンテナ内での作業になっています。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## VsCodeでノートブックを開くためには\n",
    "cmd shift p -> 「cretate ju」をタイプし「create jupyter notebook」を選択します\n",
    "\n",
    "こちらの確認もお忘れなく  \n",
    "![図1.2 3.9.1のPythonのバージョンになっているかチェック](images/python_interpreter.png)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# ===== ここからコンテナ内の操作です====="
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Dbの準備を行います\n",
    "1. mysql -h db_mysql -uroot -proot\n",
    "2. source 2.3.0_utf-8.sql"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# ノートブック環境が動くか確認します"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# dockerで構築した場合\n",
    "# コンソールで設定したSparkとNoteBookを接続します(動かす前に毎度実行する必要があります)\n",
    "import findspark\n",
    "findspark.init(\"/home/pyspark/spark/\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#pysparkに必要なライブラリを読み込む\n",
    "from pyspark import SparkConf\n",
    "from pyspark import SparkContext\n",
    "from pyspark.sql import SparkSession\n",
    "\n",
    "#問題なく実行できればOKです"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#pysparkに必要なライブラリを読み込む\n",
    "\n",
    "from pyspark import SparkConf\n",
    "from pyspark import SparkContext\n",
    "from pyspark.sql import SparkSession\n",
    "\n",
    "#spark sessionの作成\n",
    "# spark.ui.enabled trueとするとSparkのGUI画面を確認することができます\n",
    "# spark.eventLog.enabled true　とすると　GUIで実行ログを確認することができます\n",
    "# GUIなどの確認は最後のセクションで説明を行います。\n",
    "spark = SparkSession.builder \\\n",
    "    .appName(\"chapter1\") \\\n",
    "    .config(\"hive.exec.dynamic.partition\", \"true\") \\\n",
    "    .config(\"hive.exec.dynamic.partition.mode\", \"nonstrict\") \\\n",
    "    .config(\"spark.sql.session.timeZone\", \"JST\") \\\n",
    "    .config(\"spark.ui.enabled\",\"true\") \\\n",
    "    .config(\"spark.eventLog.enabled\",\"true\") \\\n",
    "    .enableHiveSupport() \\\n",
    "    .getOrCreate()\n",
    "\n",
    "spark.sql(\"show tables\").show() \n",
    "\n",
    "# 空の結果が表示されればOKです"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "spark.stop()\n",
    "spark.sparkContext.stop()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# ターミナルでpyspark動くか確認します\n",
    "\n",
    "1. ターミナルでpyspark\n",
    "2. ターミナルでspark-submitが存在していること"
   ]
  }
 ],
 "metadata": {
  "interpreter": {
   "hash": "578f5f657c2fb65ecadb997ad60e5cf2da380ecec34305a6dd913dc5b96e257c"
  },
  "kernelspec": {
   "display_name": "Python 3.9.1 64-bit ('3.9.1': pyenv)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.1"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}