Most Frequent Previous Diagnosis.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "from itertools import chain\n",
    "import numpy as np\n",
    "from utils import get_doctor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "test_df = pd.read_csv('./data/test_data_complaints_repeats_doctors.csv', sep=',')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "train_df = pd.read_csv('./data/train_data_complaints_repeats_doctors.csv', sep=',')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "момент_первое_приём                                                                                                                3941\n",
       "момент_осмотр                                                                                                                      2530\n",
       "явка_профилактический                                                                                                              1308\n",
       "результат_обследование                                                                                                              737\n",
       "момент_осмотр_жалоба                                                                                                                721\n",
       "половый_путь                                                                                                                        643\n",
       "активный_жалоба                                                                                                                     558\n",
       "момент_осмотр_активно_жалоба                                                                                                        530\n",
       "результат_анализ                                                                                                                    489\n",
       "периодический_бель                                                                                                                  394\n",
       "момент_осмотр_активный_жалоба                                                                                                       374\n",
       "явка_повторный результат_анализ                                                                                                     371\n",
       "молочный_железо                                                                                                                     347\n",
       "затруднение_носовой_дыхание слизистый_отделять полость_нос                                                                          324\n",
       "периодический_затруднение_носовой_дыхание скудный_слизистый_отделять полость_нос                                                    319\n",
       "новый_жалоба                                                                                                                        251\n",
       "жалоба_прежний                                                                                                                      222\n",
       "тянущий_боль                                                                                                                        208\n",
       "снижение_зрение_вдаль                                                                                                               194\n",
       "умеренный_боль область_операция                                                                                                     194\n",
       "обильный_бель                                                                                                                       188\n",
       "сохраняться_боль                                                                                                                    171\n",
       "заложенность_нос                                                                                                                    158\n",
       "учащённый_мочеиспускание                                                                                                            150\n",
       "головной_боль                                                                                                                       142\n",
       "вздутие_живот                                                                                                                       141\n",
       "сохраняться_высыпание кожа_лицо                                                                                                     139\n",
       "затруднение_носовой_дыхание скудный_слизистый_отделять полость_нос                                                                  135\n",
       "кожа_туловище                                                                                                                       131\n",
       "поясничный_отдел_позвоночник                                                                                                        127\n",
       "                                                                                                                                   ... \n",
       "момент_осмотр продуктивный_кашель слизистый_насморк повышение_температура_тело                                                        1\n",
       "наличие_плотный область_левый_молочный_железа                                                                                         1\n",
       "тянущий_боль учащение_мочеиспускание дискомфортный_ощущение область_мочеиспускательный_канал конец_мочеиспускание примесь_кровь       1\n",
       "фон_приём отмечать_уменьшение_боль                                                                                                    1\n",
       "наличие_образование кожа_левый_нога                                                                                                   1\n",
       "чувство_дискомфорт кожа_спина                                                                                                         1\n",
       "наличие_грыжевый_выпячивание передний_брюшной_стенка                                                                                  1\n",
       "фон_лечение эпигастральный_область_справа результат_дообследование                                                                    1\n",
       "периодический_выделение половый_путь результат_анализ                                                                                 1\n",
       "крестцовый_отдел_позвоночник правый_ягодица                                                                                           1\n",
       "слизистый_выделение_жёлтый_цвет кашель_малопродуктивный осиплость_голос                                                               1\n",
       "момент_осмотр мышечный_спазм грудо-поясничный_отдел_позвоночник поворот_туловище                                                      1\n",
       "момент_осмотр периодический_тянущий_боль поясничный_область                                                                           1\n",
       "периодический_головной_боль пульсировать_характер грудной_отдел_позвоночник                                                           1\n",
       "мазать_кровянистый_выделение момент_осмотр                                                                                            1\n",
       "резь_мочеиспускание неприятный_запах                                                                                                  1\n",
       "сохраняться_единичный_пятно кожа_лицо                                                                                                 1\n",
       "сохраняться_шелушение ушной_раковина                                                                                                  1\n",
       "болезненный_образование латеральный_поверхность нижний_треть_правый_голень право_лучезапястный_сустав                                 1\n",
       "жидкий_стул колющий_боль                                                                                                              1\n",
       "грудной_отдел правый_рука поясничный_отдел_позвоночник икроножный_мышца                                                               1\n",
       "область_левый_коленный_сустав тянущий_характер внутренний_поверхность_левый_бедро область_поп                                         1\n",
       "левый_лопатка левый_подмышечный_область                                                                                               1\n",
       "момент_осмотр сухой_надсадный_кашель заложенность_нос повышение_температура_тело общий_слабость                                       1\n",
       "фон_лечение_самочувствие диспептический_синдром отмечать_уменьшение_газообразование стул_стать                                        1\n",
       "наличие_образование кожа_правый_бедро                                                                                                 1\n",
       "положительный_динамик боль_уменьшиться момент_осмотр                                                                                  1\n",
       "ослабление_эрекция ускоренный_семяизвержение                                                                                          1\n",
       "сохраняться_единичный_элемент кожа_спина                                                                                              1\n",
       "появление_болезненность ii_палец_правый_кисть течение_сутки                                                                           1\n",
       "Name: Жалобы (ngramm), Length: 19699, dtype: int64"
      ]
     },
     "execution_count": 55,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_df[\"Жалобы (ngramm)\"].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 175,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "abort_patient = df[(df.Id_Пациента == 284501) & (df.Услуга.str.contains('Прием врача-дерматовенеролога'))]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 176,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Id_Записи</th>\n",
       "      <th>Id_Пациента</th>\n",
       "      <th>Возраст</th>\n",
       "      <th>Диагноз</th>\n",
       "      <th>Жалобы</th>\n",
       "      <th>Источник_рекламы</th>\n",
       "      <th>Клиника</th>\n",
       "      <th>Код_диагноза</th>\n",
       "      <th>Пол</th>\n",
       "      <th>Услуга</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>4768</th>\n",
       "      <td>4768</td>\n",
       "      <td>284501</td>\n",
       "      <td>30</td>\n",
       "      <td>Вирусные бородавки</td>\n",
       "      <td>на появление образования на коже II пальца пра...</td>\n",
       "      <td>Другое</td>\n",
       "      <td>3</td>\n",
       "      <td>B07</td>\n",
       "      <td>1</td>\n",
       "      <td>Прием врача-дерматовенеролога  первичный, амбу...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4806</th>\n",
       "      <td>4806</td>\n",
       "      <td>284501</td>\n",
       "      <td>30</td>\n",
       "      <td>Контагиозный моллюск</td>\n",
       "      <td>На сохраняющиеся высыпания на коже туловища</td>\n",
       "      <td>Другое</td>\n",
       "      <td>3</td>\n",
       "      <td>B08.1</td>\n",
       "      <td>1</td>\n",
       "      <td>Прием врача-дерматовенеролога  повторный, амбу...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11657</th>\n",
       "      <td>11657</td>\n",
       "      <td>284501</td>\n",
       "      <td>30</td>\n",
       "      <td>Контактная крапивница</td>\n",
       "      <td>На сохраняющиеся зудящие выспания на коже ног,...</td>\n",
       "      <td>Другое</td>\n",
       "      <td>3</td>\n",
       "      <td>L50.6</td>\n",
       "      <td>1</td>\n",
       "      <td>Прием врача-дерматовенеролога  повторный, амбу...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14095</th>\n",
       "      <td>14095</td>\n",
       "      <td>284501</td>\n",
       "      <td>30</td>\n",
       "      <td>Контагиозный моллюск</td>\n",
       "      <td>На сохраняющиеся пятна на коже бедер</td>\n",
       "      <td>Другое</td>\n",
       "      <td>3</td>\n",
       "      <td>B08.1</td>\n",
       "      <td>1</td>\n",
       "      <td>Прием врача-дерматовенеролога  повторный, амбу...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26168</th>\n",
       "      <td>26168</td>\n",
       "      <td>284501</td>\n",
       "      <td>30</td>\n",
       "      <td>Себорейный дерматит</td>\n",
       "      <td>на появление зудящих высыпаний на коже в/ч гол...</td>\n",
       "      <td>Другое</td>\n",
       "      <td>3</td>\n",
       "      <td>L21</td>\n",
       "      <td>1</td>\n",
       "      <td>Прием врача-дерматовенеролога  повторный, амбу...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33977</th>\n",
       "      <td>33977</td>\n",
       "      <td>284501</td>\n",
       "      <td>30</td>\n",
       "      <td>Контактная крапивница</td>\n",
       "      <td>На сохраняющиеся пятна на коже ног</td>\n",
       "      <td>Другое</td>\n",
       "      <td>3</td>\n",
       "      <td>L50.6</td>\n",
       "      <td>1</td>\n",
       "      <td>Прием врача-дерматовенеролога  повторный, амбу...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41103</th>\n",
       "      <td>41103</td>\n",
       "      <td>284501</td>\n",
       "      <td>30</td>\n",
       "      <td>Аллергический контактный дерматит, причина не ...</td>\n",
       "      <td>на появление зудящего, шелушащегося пятна на к...</td>\n",
       "      <td>Другое</td>\n",
       "      <td>3</td>\n",
       "      <td>L23.9</td>\n",
       "      <td>1</td>\n",
       "      <td>Прием врача-дерматовенеролога  первичный, амбу...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49391</th>\n",
       "      <td>49391</td>\n",
       "      <td>284501</td>\n",
       "      <td>30</td>\n",
       "      <td>Себорейный дерматит</td>\n",
       "      <td>На сохраняющиеся выспания на коже в/ч головы</td>\n",
       "      <td>Другое</td>\n",
       "      <td>3</td>\n",
       "      <td>L21</td>\n",
       "      <td>1</td>\n",
       "      <td>Прием врача-дерматовенеролога  повторный, амбу...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>60860</th>\n",
       "      <td>60860</td>\n",
       "      <td>284501</td>\n",
       "      <td>30</td>\n",
       "      <td>Контактная крапивница</td>\n",
       "      <td>На сохраняющиеся пятна на коже голеней, отмеча...</td>\n",
       "      <td>Другое</td>\n",
       "      <td>3</td>\n",
       "      <td>L50.6</td>\n",
       "      <td>1</td>\n",
       "      <td>Прием врача-дерматовенеролога  повторный, амбу...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       Id_Записи  Id_Пациента  Возраст  \\\n",
       "4768        4768       284501       30   \n",
       "4806        4806       284501       30   \n",
       "11657      11657       284501       30   \n",
       "14095      14095       284501       30   \n",
       "26168      26168       284501       30   \n",
       "33977      33977       284501       30   \n",
       "41103      41103       284501       30   \n",
       "49391      49391       284501       30   \n",
       "60860      60860       284501       30   \n",
       "\n",
       "                                                 Диагноз  \\\n",
       "4768                                  Вирусные бородавки   \n",
       "4806                                Контагиозный моллюск   \n",
       "11657                              Контактная крапивница   \n",
       "14095                               Контагиозный моллюск   \n",
       "26168                                Себорейный дерматит   \n",
       "33977                              Контактная крапивница   \n",
       "41103  Аллергический контактный дерматит, причина не ...   \n",
       "49391                                Себорейный дерматит   \n",
       "60860                              Контактная крапивница   \n",
       "\n",
       "                                                  Жалобы Источник_рекламы  \\\n",
       "4768   на появление образования на коже II пальца пра...           Другое   \n",
       "4806         На сохраняющиеся высыпания на коже туловища           Другое   \n",
       "11657  На сохраняющиеся зудящие выспания на коже ног,...           Другое   \n",
       "14095               На сохраняющиеся пятна на коже бедер           Другое   \n",
       "26168  на появление зудящих высыпаний на коже в/ч гол...           Другое   \n",
       "33977                 На сохраняющиеся пятна на коже ног           Другое   \n",
       "41103  на появление зудящего, шелушащегося пятна на к...           Другое   \n",
       "49391       На сохраняющиеся выспания на коже в/ч головы           Другое   \n",
       "60860  На сохраняющиеся пятна на коже голеней, отмеча...           Другое   \n",
       "\n",
       "       Клиника Код_диагноза  Пол  \\\n",
       "4768         3          B07    1   \n",
       "4806         3        B08.1    1   \n",
       "11657        3        L50.6    1   \n",
       "14095        3        B08.1    1   \n",
       "26168        3          L21    1   \n",
       "33977        3        L50.6    1   \n",
       "41103        3        L23.9    1   \n",
       "49391        3          L21    1   \n",
       "60860        3        L50.6    1   \n",
       "\n",
       "                                                  Услуга  \n",
       "4768   Прием врача-дерматовенеролога  первичный, амбу...  \n",
       "4806   Прием врача-дерматовенеролога  повторный, амбу...  \n",
       "11657  Прием врача-дерматовенеролога  повторный, амбу...  \n",
       "14095  Прием врача-дерматовенеролога  повторный, амбу...  \n",
       "26168  Прием врача-дерматовенеролога  повторный, амбу...  \n",
       "33977  Прием врача-дерматовенеролога  повторный, амбу...  \n",
       "41103  Прием врача-дерматовенеролога  первичный, амбу...  \n",
       "49391  Прием врача-дерматовенеролога  повторный, амбу...  \n",
       "60860  Прием врача-дерматовенеролога  повторный, амбу...  "
      ]
     },
     "execution_count": 176,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "abort_patient"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 182,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Вирусные бородавки\n",
      "Контагиозный моллюск\n",
      "Контактная крапивница\n",
      "Контагиозный моллюск\n",
      "Себорейный дерматит\n",
      "Контактная крапивница\n",
      "Аллергический контактный дерматит, причина не уточнена\n",
      "Себорейный дерматит\n",
      "Контактная крапивница\n"
     ]
    }
   ],
   "source": [
    "abort_patient.Диагноз.apply(print);"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 183,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "на появление образования на коже II пальца правой кисти в течении 2-х недель\n",
      "На сохраняющиеся высыпания на коже туловища\n",
      "На сохраняющиеся зудящие выспания на коже ног, появление пузырьков на коже правой стопы в течении 2-х дней\n",
      "На сохраняющиеся пятна на коже бедер\n",
      "на появление зудящих высыпаний на коже в/ч головы в течении 4-х дней\n",
      "На сохраняющиеся пятна на коже ног\n",
      "на появление зудящего, шелушащегося пятна на коже левой кисти в течении 10-ти дней\n",
      "На сохраняющиеся выспания на коже в/ч головы\n",
      "На сохраняющиеся пятна на коже голеней, отмечает появление новых высыпаний на коже рук\n"
     ]
    }
   ],
   "source": [
    "abort_patient.Жалобы.apply(print);"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 151,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'-',\n",
       " '001',\n",
       " '08',\n",
       " '1',\n",
       " '15',\n",
       " '18%',\n",
       " '2',\n",
       " '28',\n",
       " '3',\n",
       " '4',\n",
       " '9',\n",
       " 'air-flow',\n",
       " 'аборт',\n",
       " 'акушера-гинеколога',\n",
       " 'акции',\n",
       " 'аллерголога-иммунолога',\n",
       " 'амбулаторной',\n",
       " 'амбулаторный',\n",
       " 'анатомическая',\n",
       " 'ангиохирурга',\n",
       " 'анестезия',\n",
       " 'апп',\n",
       " 'аппаратом',\n",
       " 'аппликационная',\n",
       " 'артроскопия',\n",
       " 'бассейн',\n",
       " 'без',\n",
       " 'беременной',\n",
       " 'беременнойзав.',\n",
       " 'беспл.',\n",
       " 'бесплатный',\n",
       " 'бинокулярного',\n",
       " 'биомикроскопия',\n",
       " 'блокада',\n",
       " 'более',\n",
       " 'больших',\n",
       " 'бцамхц',\n",
       " 'в',\n",
       " 'ваше',\n",
       " 'введения',\n",
       " 'ведущего',\n",
       " 'включая',\n",
       " 'водянке',\n",
       " 'восстановление',\n",
       " 'врача',\n",
       " 'врача/зам.',\n",
       " 'врачебный',\n",
       " 'временная',\n",
       " 'временной',\n",
       " 'всей',\n",
       " 'выдачи',\n",
       " 'вызов',\n",
       " 'выписки',\n",
       " 'гастроэнтеролога',\n",
       " 'гастроэнтерологическое',\n",
       " 'гибдд',\n",
       " 'гинеколога',\n",
       " 'гипсовых',\n",
       " 'главного',\n",
       " 'глаза',\n",
       " 'глазного',\n",
       " 'гнойных',\n",
       " 'гомеопатическим',\n",
       " 'гомеосиниатрия',\n",
       " 'групон',\n",
       " 'групон.расширеное',\n",
       " 'день',\n",
       " 'дерматовенеролога',\n",
       " 'детского',\n",
       " 'диагноз',\n",
       " 'диаметром',\n",
       " 'динамическое',\n",
       " 'для',\n",
       " 'дна',\n",
       " 'дневник',\n",
       " 'до',\n",
       " 'доброкачественного',\n",
       " 'дом',\n",
       " 'за',\n",
       " 'заключительная',\n",
       " 'запись',\n",
       " 'здоровье',\n",
       " 'зона',\n",
       " 'зрачком',\n",
       " 'зрения',\n",
       " 'зуб',\n",
       " 'зуба',\n",
       " 'зубного',\n",
       " 'зубов',\n",
       " 'и',\n",
       " 'из',\n",
       " 'или',\n",
       " 'импортных',\n",
       " 'инородного',\n",
       " 'инфильтрационная',\n",
       " 'инъекция',\n",
       " 'иньекционная',\n",
       " 'исследование',\n",
       " 'к.м.н.',\n",
       " 'камня',\n",
       " 'канала',\n",
       " 'кардио',\n",
       " 'кардиолога',\n",
       " 'кардиотокография',\n",
       " 'кариеса',\n",
       " 'карманов',\n",
       " 'карты',\n",
       " 'кожи',\n",
       " 'коленного',\n",
       " 'колопроктолога',\n",
       " 'кольпоскопия',\n",
       " 'комплексного',\n",
       " 'композита',\n",
       " 'компрессия',\n",
       " 'компьютерная',\n",
       " 'конечностей',\n",
       " 'консилиум',\n",
       " 'консультацией',\n",
       " 'консультация',\n",
       " 'контактных',\n",
       " 'конъюнктивы',\n",
       " 'коронки',\n",
       " 'кровотока',\n",
       " 'ктг',\n",
       " 'курсе',\n",
       " 'лакун',\n",
       " 'лекарственных',\n",
       " 'лечащего',\n",
       " 'лечебная',\n",
       " 'лечебно-диагностическая',\n",
       " 'лечебно-диагностический',\n",
       " 'лечебной',\n",
       " 'лечение',\n",
       " 'лечения',\n",
       " 'линз',\n",
       " 'локальная',\n",
       " 'лонгет',\n",
       " 'лфк',\n",
       " 'малых',\n",
       " 'маммолога',\n",
       " 'манипуляций',\n",
       " 'мануального',\n",
       " 'материалов',\n",
       " 'материалом',\n",
       " 'медикаментозная',\n",
       " 'медицинский',\n",
       " 'методом',\n",
       " 'миндалин',\n",
       " 'миндалины',\n",
       " 'мифигин',\n",
       " 'мрт',\n",
       " 'мртпо',\n",
       " 'мхц',\n",
       " 'мягкого',\n",
       " 'на',\n",
       " 'наблюдение',\n",
       " 'налета',\n",
       " 'наличные',\n",
       " 'наложение',\n",
       " 'наложением',\n",
       " 'ндс',\n",
       " 'невролог/травматолог',\n",
       " 'невролога',\n",
       " 'неврологоа',\n",
       " 'нейрохирурга',\n",
       " 'нижних',\n",
       " 'новообразований',\n",
       " 'носа',\n",
       " 'области',\n",
       " 'оболочек',\n",
       " 'обработка',\n",
       " 'образования',\n",
       " 'обследование',\n",
       " 'обследование+узи',\n",
       " 'обследования',\n",
       " 'ожогов',\n",
       " 'онколога',\n",
       " 'операция',\n",
       " 'ортопеда-травматолога',\n",
       " 'ортопеда-травмотолога',\n",
       " 'осмотр',\n",
       " 'отделением',\n",
       " 'отечественных',\n",
       " 'отоларинголога',\n",
       " 'оториноларинголога',\n",
       " 'отрезка',\n",
       " 'оформление',\n",
       " 'офтальмолога',\n",
       " 'оценкой',\n",
       " 'паравертебральная',\n",
       " 'пародонтальная',\n",
       " 'пародонтальных',\n",
       " 'пастой',\n",
       " 'патологических',\n",
       " 'педиатра',\n",
       " 'первичная',\n",
       " 'первичный',\n",
       " 'перевязка',\n",
       " 'переднего',\n",
       " 'перемещения',\n",
       " 'пигментированного',\n",
       " 'пластического',\n",
       " 'плода',\n",
       " 'пломбировка',\n",
       " 'пломбы',\n",
       " 'по',\n",
       " 'повторная',\n",
       " 'повторный',\n",
       " 'повязка',\n",
       " 'подбор',\n",
       " 'покрытие',\n",
       " 'полимерных',\n",
       " 'полировкой',\n",
       " 'полости',\n",
       " 'после',\n",
       " 'последующей',\n",
       " 'послеоперационная',\n",
       " 'послеоперационных',\n",
       " 'пр.',\n",
       " 'предвакцинальный',\n",
       " 'пределах',\n",
       " 'препаратов',\n",
       " 'препаратом',\n",
       " 'при',\n",
       " 'прием',\n",
       " 'приема',\n",
       " 'приемуролога',\n",
       " 'приём',\n",
       " 'проведенных',\n",
       " 'программа',\n",
       " 'программе',\n",
       " 'программы',\n",
       " 'пройтцу',\n",
       " 'промывание',\n",
       " 'простое',\n",
       " 'профилактический',\n",
       " 'процедура',\n",
       " 'психотерапевта',\n",
       " 'пульмонолога',\n",
       " 'пульпита',\n",
       " 'пункция',\n",
       " 'радиовизиография',\n",
       " 'радиохирургическое',\n",
       " 'размером',\n",
       " 'рамках',\n",
       " 'ран',\n",
       " 'раны',\n",
       " 'расширенная',\n",
       " 'расширенное',\n",
       " 'расширеным',\n",
       " 'реабилитации',\n",
       " 'ревматолога',\n",
       " 'ревматолога-реабилитолога',\n",
       " 'ретробульбарная',\n",
       " 'рефлексотерапевта',\n",
       " 'рефлексотерапия',\n",
       " 'рефрактометрия',\n",
       " 'рта',\n",
       " 'с',\n",
       " 'светоотверждаюшего',\n",
       " 'светоотверждающим',\n",
       " 'см',\n",
       " 'снятие',\n",
       " 'со',\n",
       " 'специалиста',\n",
       " 'специалистов',\n",
       " 'справки',\n",
       " 'стом',\n",
       " 'стоматита',\n",
       " 'стоматолога',\n",
       " 'сумки',\n",
       " 'сустава',\n",
       " 'суставной',\n",
       " 'тела',\n",
       " 'терапевта',\n",
       " 'терапии',\n",
       " 'терапия',\n",
       " 'травматолога-ортопеда',\n",
       " 'травмотолога-ортопеда',\n",
       " 'трихолога',\n",
       " 'удаление',\n",
       " 'ударно-волновой',\n",
       " 'ультразвуком',\n",
       " 'уролога',\n",
       " 'уролога-андролога',\n",
       " 'урофлоуметрия',\n",
       " 'учетом',\n",
       " 'физкультуре',\n",
       " 'флеболога',\n",
       " 'фтор-лаком',\n",
       " 'халязиона',\n",
       " 'хирурга',\n",
       " 'хирургическая',\n",
       " 'хирургических',\n",
       " 'цао',\n",
       " 'цикле',\n",
       " 'циклу',\n",
       " 'четырех',\n",
       " 'чистая',\n",
       " 'шва',\n",
       " 'швов',\n",
       " 'эластическая',\n",
       " 'эндокринолога',\n",
       " 'яичка'}"
      ]
     },
     "execution_count": 151,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "set(chain.from_iterable([string.lower().replace(',', '').replace('врача-', '').replace('(', '').replace(')', '').split()\n",
    " for string in dict(df.Услуга.value_counts()).keys()]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [],
   "source": [
    "gb = train_df.groupby(['Id_Пациента'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "18410"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(set(df.Id_Пациента) & set(test_df.Id_Пациента))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "18410"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(set(test_df.Id_Пациента))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/sergey/anaconda3/lib/python3.6/site-packages/numpy/core/fromnumeric.py:57: FutureWarning: 'argmax' is deprecated. Use 'idxmax' instead. The behavior of 'argmax' will be corrected to return the positional maximum in the future. Use 'series.values.argmax' to get the position of the maximum now.\n",
      "  return getattr(obj, method)(*args, **kwds)\n"
     ]
    }
   ],
   "source": [
    "diagnoses = gb.apply(lambda x: np.argmax(x.Код_диагноза.value_counts()))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'I11'"
      ]
     },
     "execution_count": 47,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "diagnoses[115819]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "(115819, 'кардиолог') in diagnoses"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [],
   "source": [
    "sample = test_df.apply(lambda row:{'Id_Записи':row.Id_Записи,\n",
    "                                   #'Id_Пациента':row.Id_Пациента,\n",
    "                                   'Код_диагноза':diagnoses[row.Id_Пациента] if (row.Id_Пациента) in diagnoses else 'нет'}, axis=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "нет       9016\n",
       "N76.0     1423\n",
       "J06.9     1293\n",
       "Z32.1      813\n",
       "J00        619\n",
       "Z00.0      515\n",
       "N41.1      511\n",
       "N77.1*     485\n",
       "Z34.0      389\n",
       "I11        378\n",
       "N76.1      368\n",
       "N72        289\n",
       "K29.9      275\n",
       "Z34.8      272\n",
       "M54.8      255\n",
       "Z01.8      246\n",
       "M42.1      221\n",
       "D23.9      218\n",
       "K30        217\n",
       "J35.0      210\n",
       "J01.0      207\n",
       "K29.5      205\n",
       "M53.8      203\n",
       "Z01.4      196\n",
       "E04.2      152\n",
       "D25        144\n",
       "K87*       141\n",
       "N20.0      138\n",
       "B37.3+     138\n",
       "E03.8      134\n",
       "          ... \n",
       "T88.9        1\n",
       "F40          1\n",
       "M40          1\n",
       "C44.3        1\n",
       "M75.5        1\n",
       "H16.9        1\n",
       "L81.4        1\n",
       "N48.2        1\n",
       "H72.2        1\n",
       "O47.0        1\n",
       "F45.8        1\n",
       "S60.1        1\n",
       "M41.8        1\n",
       "I49.3        1\n",
       "Z00.1        1\n",
       "M06.9        1\n",
       "Z30.4        1\n",
       "M70.7        1\n",
       "R00.0        1\n",
       "D84.8        1\n",
       "S43.3        1\n",
       "L50.0        1\n",
       "M19.1        1\n",
       "N48.8        1\n",
       "S92.9        1\n",
       "L92.0        1\n",
       "S92          1\n",
       "G58.7        1\n",
       "O24.3        1\n",
       "H19.0*       1\n",
       "Name: Код_диагноза, Length: 1006, dtype: int64"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.DataFrame(list(sample)).Код_диагноза.value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "pd.DataFrame(list(sample)).to_csv('./submission_simple.csv',index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python [default]",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}