CharacterWordManipulation.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "dfnumber=1\n",
    "path = \"../Data/Telegram/exportData98{}/corona98{}/telegram_corona98{}_full.csv\".format(dfnumber,dfnumber,dfnumber)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>fwd_postId</th>\n",
       "      <th>hashtagField</th>\n",
       "      <th>mentionField</th>\n",
       "      <th>ownerId</th>\n",
       "      <th>ownerName</th>\n",
       "      <th>postId</th>\n",
       "      <th>tagField</th>\n",
       "      <th>textField</th>\n",
       "      <th>textField_normal</th>\n",
       "      <th>time_jalali</th>\n",
       "      <th>timestamp</th>\n",
       "      <th>views</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1079529964</td>\n",
       "      <td>\"kisalanalbom\"</td>\n",
       "      <td>1079529964_25538</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-11 19:34:07</td>\n",
       "      <td>1580486647</td>\n",
       "      <td>\"49\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"kalasar_news\"</td>\n",
       "      <td>1086067252</td>\n",
       "      <td>\"kalasar_news\"</td>\n",
       "      <td>1086067252_26025</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-10 23:01:56</td>\n",
       "      <td>1580412716</td>\n",
       "      <td>\"139\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1377161021</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1377161021_4990</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-11 11:42:46</td>\n",
       "      <td>1580458366</td>\n",
       "      <td>\"273\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1157337033</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1157337033_38567</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-11 17:24:53</td>\n",
       "      <td>1580478893</td>\n",
       "      <td>\"31\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1004929434</td>\n",
       "      <td>\"gareshg\"</td>\n",
       "      <td>1004929434_17521</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-10 23:22:15</td>\n",
       "      <td>1580413935</td>\n",
       "      <td>\"77\"</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Unnamed: 0 fwd_postId hashtagField    mentionField     ownerId  \\\n",
       "0           0         \"\"           \"\"              \"\"  1079529964   \n",
       "1           1         \"\"           \"\"  \"kalasar_news\"  1086067252   \n",
       "2           2         \"\"           \"\"              \"\"  1377161021   \n",
       "3           3         \"\"           \"\"              \"\"  1157337033   \n",
       "4           4         \"\"           \"\"              \"\"  1004929434   \n",
       "\n",
       "        ownerName            postId tagField  \\\n",
       "0  \"kisalanalbom\"  1079529964_25538       \"\"   \n",
       "1  \"kalasar_news\"  1086067252_26025       \"\"   \n",
       "2              \"\"   1377161021_4990       \"\"   \n",
       "3              \"\"  1157337033_38567       \"\"   \n",
       "4       \"gareshg\"  1004929434_17521       \"\"   \n",
       "\n",
       "                                           textField  \\\n",
       "0  \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "1  \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "2  \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "3  \"😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش...   \n",
       "4  \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "\n",
       "                                    textField_normal          time_jalali  \\\n",
       "0  \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-11 19:34:07   \n",
       "1  \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-10 23:01:56   \n",
       "2  \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-11 11:42:46   \n",
       "3  \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-11 17:24:53   \n",
       "4  \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-10 23:22:15   \n",
       "\n",
       "    timestamp  views  \n",
       "0  1580486647   \"49\"  \n",
       "1  1580412716  \"139\"  \n",
       "2  1580458366  \"273\"  \n",
       "3  1580478893   \"31\"  \n",
       "4  1580413935   \"77\"  "
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.read_csv(path)\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = df['textField_normal']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...\n",
       "1    \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...\n",
       "2    \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...\n",
       "3    \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...\n",
       "4    \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...\n",
       "Name: textField_normal, dtype: object"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "pandas.core.series.Series"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(df)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Character Set"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0         [None, None, None, None, None, None, None, Non...\n",
       "1         [None, None, None, None, None, None, None, Non...\n",
       "2         [None, None, None, None, None, None, None, Non...\n",
       "3         [None, None, None, None, None, None, None, Non...\n",
       "4         [None, None, None, None, None, None, None, Non...\n",
       "                                ...                        \n",
       "224064    [None, None, None, None, None, None, None, Non...\n",
       "224065    [None, None, None, None, None, None, None, Non...\n",
       "224066    [None, None, None, None, None, None, None, Non...\n",
       "224067    [None, None, None, None, None, None, None, Non...\n",
       "224068    [None, None, None, None, None, None, None, Non...\n",
       "Name: textField_normal, Length: 224069, dtype: object"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "char_set = set()\n",
    "df.apply(lambda x : [char_set.add(c) for c in x])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'کرونا اینجا کرونا اونجا کرونا همه جا ازمایش واکسن قطعی کرونا برای اولین بار در زودنیوز'"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = df.apply(lambda x : x.replace('\"' , \"\"))\n",
    "df[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "572"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(char_set)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "48"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ord('0')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "def isEnglish(s):\n",
    "    try:\n",
    "        s.encode(encoding='utf-8').decode('ascii')\n",
    "    except UnicodeDecodeError:\n",
    "        return False\n",
    "    else:\n",
    "        return True"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['a',\n",
       " 'b',\n",
       " 'c',\n",
       " 'd',\n",
       " 'e',\n",
       " 'f',\n",
       " 'g',\n",
       " 'h',\n",
       " 'i',\n",
       " 'j',\n",
       " 'k',\n",
       " 'l',\n",
       " 'm',\n",
       " 'n',\n",
       " 'o',\n",
       " 'p',\n",
       " 'q',\n",
       " 'r',\n",
       " 's',\n",
       " 't',\n",
       " 'u',\n",
       " 'v',\n",
       " 'w',\n",
       " 'x',\n",
       " 'y',\n",
       " 'z']"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "english_chars = [chr(i) for i in range(ord('a') , ord('z')+1)]\n",
    "#english_chars += [chr(i) for i in range(ord('0') , ord('9')+1)]\n",
    "english_chars"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'فوری کرونا به ایران نزدیک شد رییس روابط عمومی وزارت بهداشت ویروس کرونا به مرزهای ایران نزدیک شد مراقبت ها ادامه دارد زیرنویس مدام در شبکه خبر و اظهارات مقامات وزارت بهداشت درمورد پیشگیری از ویروس کرونا و سرایت اون به کشورهای همسایه رو که کنار هم بذاریم به این نتایج میرسیم یا کرونا اومده تو ایران و نمیخوان بگن یا اومده و نمیدونن که در هردوصورت باید دعاکنیم خدا به فریادمون برسه'"
      ]
     },
     "execution_count": 50,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df[df.map(lambda x : isEnglish(x))]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1         کرونا اینجا کرونا اونجا کرونا همه جا ازمایش وا...\n",
       "6         کرونا اینجا کرونا اونجا کرونا همه جا ازمایش وا...\n",
       "8         کرونا اینجا کرونا اونجا کرونا همه جا ازمایش وا...\n",
       "9         کرونا اینجا کرونا اونجا کرونا همه جا ازمایش وا...\n",
       "12        کرونا اینجا کرونا اونجا کرونا همه جا ازمایش وا...\n",
       "                                ...                        \n",
       "224063    اگر بیماری کرونا امد و بیماری سخت شد پس راهکار...\n",
       "224064    هاریسون سوزی جنجال تازه شیخ عباس تبریزیان http...\n",
       "224065    سیاست خارجی کشور و اینده برجام بخش اول مهدی نو...\n",
       "224067    سلطان سازه ها تصاویرساخت سریع بیمارستان 10 هزا...\n",
       "224068    تامل پرانکان او طالبان نصیب حدران پهتاریخ کی د...\n",
       "Name: textField_normal, Length: 186432, dtype: object"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df[df.map(lambda x : any([c in english_chars for c in x]))]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0"
      ]
     },
     "execution_count": 57,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sum([])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "def count_chars(s , cs):\n",
    "    res=0\n",
    "\n",
    "    for c in s:\n",
    "        res += 1 if c in cs else 0\n",
    "    return res"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "df =df.sort_values(ascending=False,key=lambda x :x.apply(lambda xx : count_chars(xx , english_chars)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "221855    zombie therapy of us china relations the unite...\n",
       "165822    corona vi̇rüsü nedi̇r tomertuurk tomertuurk sa...\n",
       "163836    corona vi̇rüsü nedi̇r sağlık bakanlığı resmi s...\n",
       "223970    مرور روزنامه های سه شنبه هشتم بهمن ماه خداحافظ...\n",
       "223746    اطلاعیه وزارت بهداشت کانادا برای کرونا canadia...\n",
       "223722    اطلاعیه وزارت بهداشت کانادا برای کرونا canadia...\n",
       "221736    نکات هشدار دهنده در زمینه ویروس کرونا departme...\n",
       "221838    انگی اخر زمان بخش 2 2 چراکه نیروهای نور هنگامی...\n",
       "221847    انگی اخر زمان بخش 2 2 چراکه نیروهای نور هنگامی...\n",
       "224007    دیوانگی اخر زمان کبرا چهارشنبه 29 ژانویه 2020 ...\n",
       "224005    دیوانگی اخر زمان کبرا چهارشنبه 29 ژانویه 2020 ...\n",
       "222378    چهارشنبه 29 ژانویه سال 2020 جنون پایان زمان هم...\n",
       "211953    فوری مهم هشدار فو ق العاده جهانی گسترش ویروس چ...\n",
       "219102    در پی انتشار ویروس کرونا در چین همه سینماها تی...\n",
       "221557    دیوانگی اخر زمان بخش 2 2 چراکه نیروهای نور هنگ...\n",
       "217630    اخرین خبرهای سه شنبه هشتم بهمن 1398 امریکا با ...\n",
       "221509    اخرین خبرهای شنبه پنجم بهمن 1398 همه ان چیزی ک...\n",
       "216356    اخرین خبرهای یکشنبه ششم بهمن 1398 مجلس بعدی مج...\n",
       "222956    و 650 000 نفر در سراسر جهان https w who int ne...\n",
       "220310    انچه که باید در مورد کرونا ویروس ووهان بدانید ...\n",
       "Name: textField_normal, dtype: object"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head(20)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'zombie therapy of us china relations the united states cannot frighten china like it did cold europe or deal with it like it did with russia trump this 21 st century zombie cannot boycott or besiege china like it did iran the structure of the chinese government is not like that of ukraine or venezuela and latin america that the key to the overhaul of the system is with the us this time the zombie did exactly what harry truman did to the persistent samurai in world war ii this time trump i e the 21 th century zombie wants to have china surrender with a tiny but intelligent virus and of course with his media giant the beginning of the chinese year is a very good option for this biological and media bombardment so far china has suffered at least 20 billion direct losses in addition millions of chinese who work worldwide even if they have no relationship with their families in the east have become socially constrained of the approximately 2 billion chinese living inside and outside china still less than 200 have died and 100 have been cured however world health organization has declared a state of emergency around the world do not be surprised if a china us trade agreement is soon signed in favor of the zombie unless the endurance and persistence of the chinese can stop this brazen giant the great satan is no longer a slogan for the iranian people in the 1980 s trump the antichrist of the apocalypse who holds a loaf of bread on his head and scares people of poverty and destruction and calls to his servitude has emerged as a carrot head zombie in the united states so that everyone can perceive the devil without reading the scriptures corona or the deadly respiratory tract virus is not very strange compared to the old human contagious diseases it is the media gunfire that has made coronavirus a destruction agent of a nation s economy culture and peace and also an intimidation and exploitation agent of other countries by the mainstream media outlets owners around the world corona is more than anything a media virus mohammad sadegh dehnadi ph d in media management زامبی درمانی رابطه امریکا با چین امریکا نمی تواند چین را مانند اروپای یخی بترساند یا مانند روسیه با ان معامله کند ترامپ این زامبی قرن بیست و یک نمی تواند چین را مانند ایران تحریم کند یا یا محاصره کند ساختار حکومت چین مثل اوکراین یا ونزویلا و امریکای لاتین هم نیست که کلید اورهال نظام دست امریکا باشد این بار زامبی دقیقا دست به همان کاری زده هری ترومن در قبال سرسختی سامورایی ها در جنگ جهانی دوم زد ترامپ یعنی زامبی قرن 21 این بار با یک ویروس کوچک اما هوشمند و البته غول رسانه ای ش می خواهد چین را تسلیم کند ابتدای سال چینی گزینه بسیار مناسبی برای این بمباران بیولوژیک و رسانه ای است تاکنون حداقل 20 میلیارد دلار به چین ضرر مستقیم خورده است به علاوه اینکه میلیونها چینی که در سراسر جهان مشغول کارند حتی اگر هیچ رابطه ای با خانواده هایشان در شرق نداشته باشند دچار محدودیت های اجتماعی شده اند از میان حدود 2 میلیارد چینی و چینی تبار هنوز کمتر از 200 نفر فوت شده اند و 100 نفر نیز درمان شده اند اما سازمان بهداشت جهانی در سراسر دنیا وضعیت اضطراری اعلام کرده است تعجب نکنید اگر به زودی توافق تجاری چین و امریکا به نفع زامبی امضا شود مگر اینکه تاب اوری و سرسختی چینی ها بتواند جلوی این غول بی شاخ و دم را بگیرد شیطان بزرگ دیگر یک شعار دهه هشتاد میلادی برای مردم ایران نیست ترامپ همان دجال اخرالزمان که روی سرش قرص نان است و مردم را از فقر و هلاکت می ترساند و به بندگی خودش دعوت می کند در قامت یک زامبی کله هویجی در ایالات متحده ظهور کرده تا همه بتوانند بدون خواندن کتاب های مقدس شیطان را درک کنند کرونا یا همان ویروس کشنده ی دستگاه تنفسی در مقایسه با بیماریهای واگیردار قدیمی بشر خیلی چیز عجیبی نیست این شلیک رسانه است که ویروس کرونا را به عاملی برای نابودی اقتصاد و فرهنگ و ارامش یک ملت و ارعاب و استثمار سایر کشورهای جهان توسط صاحبان اصلی رسانه های دنیا تبدیل کرده است کرونا بیش از هر چیزی یک ویروس رسانه ای است دکتر محمد صادق دهنادی https w instagram com p b 7 jf 6 xhwlm igshid flyt 1 zijmbhq'"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df[221855]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Pre processed data examination"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>postId</th>\n",
       "      <th>index</th>\n",
       "      <th>textField_nlp_normal</th>\n",
       "      <th>textField_nlp_process</th>\n",
       "      <th>tokens</th>\n",
       "      <th>post_type</th>\n",
       "      <th>cluster_idx</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>1079529964_25538</td>\n",
       "      <td>0</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>1086067252_26025</td>\n",
       "      <td>1</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>1377161021_4990</td>\n",
       "      <td>2</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>1157337033_38567</td>\n",
       "      <td>3</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش ...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا 💉 آزما...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>5</td>\n",
       "      <td>1004929434_17521</td>\n",
       "      <td>4</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>R</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "0  0            postId index  \\\n",
       "1  1  1079529964_25538     0   \n",
       "2  2  1086067252_26025     1   \n",
       "3  3   1377161021_4990     2   \n",
       "4  4  1157337033_38567     3   \n",
       "5  5  1004929434_17521     4   \n",
       "\n",
       "0                               textField_nlp_normal  \\\n",
       "1  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "2  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "3  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "4  😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش ...   \n",
       "5  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "\n",
       "0                              textField_nlp_process  \\\n",
       "1   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "2   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "3   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "4   😷 کرونا اینجا کرونا اونجا کرونا همه جا 💉 آزما...   \n",
       "5   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "\n",
       "0                                             tokens post_type cluster_idx  \n",
       "1  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "2  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "3  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "4  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "5  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...         R           1  "
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "pathpre = \"../Data/PreProcessed/telegram_corona981_normalized_tokenized_20.csv\"\n",
    "dfpre = pd.read_csv(pathpre)\n",
    "\n",
    "new_header = dfpre.iloc[0] #grab the first row for the header\n",
    "dfpre = dfpre[1:] #take the data less the header row\n",
    "dfpre.columns = new_header #set the header row as the df header\n",
    "dfpre.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'❄️🌟🍓 😷کرونا اینجا کرونا اونجا کرونا همه جا. @ktglab'"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "dfpre.iloc[20]['textField_nlp_normal']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "' ❄️ 🌟 🍓 😷 کرونا اینجا کرونا اونجا کرونا همه جا . <user> '"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dfpre.iloc[20]['textField_nlp_process']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1        [None, None, None, None, None, None, None, Non...\n",
       "2        [None, None, None, None, None, None, None, Non...\n",
       "3        [None, None, None, None, None, None, None, Non...\n",
       "4        [None, None, None, None, None, None, None, Non...\n",
       "5        [None, None, None, None, None, None, None, Non...\n",
       "                               ...                        \n",
       "49996    [None, None, None, None, None, None, None, Non...\n",
       "49997    [None, None, None, None, None, None, None, Non...\n",
       "49998    [None, None, None, None, None, None, None, Non...\n",
       "49999    [None, None, None, None, None, None, None, Non...\n",
       "50000    [None, None, None, None, None, None, None, Non...\n",
       "Name: textField_nlp_process, Length: 50000, dtype: object"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "char_set2 = set()\n",
    "dfpre['textField_nlp_process'].apply(lambda x : [char_set2.add(c) for c in x])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1250"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(char_set2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "572"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(char_set)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "224069"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "50000"
      ]
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(dfpre)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'²',\n",
       " 'à',\n",
       " 'á',\n",
       " 'ä',\n",
       " 'å',\n",
       " 'è',\n",
       " 'ì',\n",
       " 'í',\n",
       " 'ï',\n",
       " 'ð',\n",
       " 'ñ',\n",
       " 'ò',\n",
       " 'ó',\n",
       " 'ö',\n",
       " 'ø',\n",
       " 'ú',\n",
       " 'ā',\n",
       " 'ą',\n",
       " 'ď',\n",
       " 'ę',\n",
       " 'ğ',\n",
       " 'ī',\n",
       " 'ň',\n",
       " 'ŕ',\n",
       " 'ŗ',\n",
       " 'ś',\n",
       " 'ş',\n",
       " 'š',\n",
       " 'ƞ',\n",
       " 'ơ',\n",
       " 'ƨ',\n",
       " 'ƶ',\n",
       " 'ǐ',\n",
       " 'ǟ',\n",
       " 'ɓ',\n",
       " 'ɖ',\n",
       " 'ə',\n",
       " 'ɛ',\n",
       " 'ɧ',\n",
       " 'ɪ',\n",
       " 'ɯ',\n",
       " 'ɲ',\n",
       " 'ɴ',\n",
       " 'ʍ',\n",
       " 'ʏ',\n",
       " 'ʙ',\n",
       " 'ʜ',\n",
       " 'ʞ',\n",
       " 'ʟ',\n",
       " 'ˊ',\n",
       " 'ˎ',\n",
       " 'γ',\n",
       " 'ε',\n",
       " 'ζ',\n",
       " 'η',\n",
       " 'κ',\n",
       " 'λ',\n",
       " 'ξ',\n",
       " 'ο',\n",
       " 'π',\n",
       " 'ρ',\n",
       " 'τ',\n",
       " 'υ',\n",
       " 'ώ',\n",
       " 'а',\n",
       " 'б',\n",
       " 'в',\n",
       " 'д',\n",
       " 'е',\n",
       " 'ж',\n",
       " 'з',\n",
       " 'и',\n",
       " 'й',\n",
       " 'к',\n",
       " 'л',\n",
       " 'о',\n",
       " 'п',\n",
       " 'р',\n",
       " 'с',\n",
       " 'т',\n",
       " 'у',\n",
       " 'ф',\n",
       " 'х',\n",
       " 'ц',\n",
       " 'ч',\n",
       " 'ш',\n",
       " 'щ',\n",
       " 'ы',\n",
       " 'ь',\n",
       " 'э',\n",
       " 'ю',\n",
       " 'я',\n",
       " 'ѕ',\n",
       " 'ҡ',\n",
       " 'ҩ',\n",
       " 'ұ',\n",
       " 'ә',\n",
       " 'ա',\n",
       " 'բ',\n",
       " 'գ',\n",
       " 'դ',\n",
       " 'ե',\n",
       " 'զ',\n",
       " 'է',\n",
       " 'ը',\n",
       " 'թ',\n",
       " 'ժ',\n",
       " 'ի',\n",
       " 'լ',\n",
       " 'խ',\n",
       " 'ծ',\n",
       " 'կ',\n",
       " 'հ',\n",
       " 'ձ',\n",
       " 'ղ',\n",
       " 'ճ',\n",
       " 'մ',\n",
       " 'յ',\n",
       " 'ն',\n",
       " 'շ',\n",
       " 'ո',\n",
       " 'չ',\n",
       " 'պ',\n",
       " 'ջ',\n",
       " 'ռ',\n",
       " 'ս',\n",
       " 'վ',\n",
       " 'տ',\n",
       " 'ր',\n",
       " 'ց',\n",
       " 'ւ',\n",
       " 'ք',\n",
       " 'օ',\n",
       " 'և',\n",
       " 'ݐ',\n",
       " 'ݓ',\n",
       " 'ݜ',\n",
       " 'ݥ',\n",
       " 'ݦ',\n",
       " 'ݧ',\n",
       " 'ݭ',\n",
       " 'অ',\n",
       " 'ই',\n",
       " 'ঠ',\n",
       " 'ஜ',\n",
       " 'ಠ',\n",
       " 'ಥ',\n",
       " 'เ',\n",
       " '๑',\n",
       " '๒',\n",
       " '༠',\n",
       " '༢',\n",
       " 'ཊ',\n",
       " 'ཏ',\n",
       " 'ვ',\n",
       " 'ი',\n",
       " 'მ',\n",
       " 'ო',\n",
       " 'რ',\n",
       " 'ს',\n",
       " 'უ',\n",
       " 'ძ',\n",
       " 'ᐸ',\n",
       " 'ᑭ',\n",
       " 'ᕼ',\n",
       " 'ᗅ',\n",
       " 'ᗞ',\n",
       " 'ᗩ',\n",
       " 'ᗰ',\n",
       " 'ᝪ',\n",
       " 'ᴀ',\n",
       " 'ᴄ',\n",
       " 'ᴅ',\n",
       " 'ᴊ',\n",
       " 'ᴘ',\n",
       " 'ᴛ',\n",
       " 'ᴜ',\n",
       " 'ᴢ',\n",
       " 'ᵃ',\n",
       " 'ᶰ',\n",
       " 'ḿ',\n",
       " 'ṣ',\n",
       " 'ỳ',\n",
       " '⁰',\n",
       " '⁴',\n",
       " 'ℍ',\n",
       " 'ℕ',\n",
       " 'ℛ',\n",
       " 'ℨ',\n",
       " 'ℬ',\n",
       " 'ℰ',\n",
       " 'ℱ',\n",
       " '①',\n",
       " '②',\n",
       " '③',\n",
       " 'ⱺ',\n",
       " 'え',\n",
       " 'く',\n",
       " 'こ',\n",
       " 'す',\n",
       " 'て',\n",
       " 'で',\n",
       " 'に',\n",
       " 'の',\n",
       " 'は',\n",
       " 'べ',\n",
       " 'を',\n",
       " 'ィ',\n",
       " 'キ',\n",
       " 'ス',\n",
       " 'テ',\n",
       " 'デ',\n",
       " 'ト',\n",
       " 'ャ',\n",
       " 'ヮ',\n",
       " 'ン',\n",
       " 'ㅠ',\n",
       " '上',\n",
       " '並',\n",
       " '中',\n",
       " '丹',\n",
       " '么',\n",
       " '于',\n",
       " '享',\n",
       " '人',\n",
       " '今',\n",
       " '从',\n",
       " '保',\n",
       " '健',\n",
       " '偶',\n",
       " '像',\n",
       " '先',\n",
       " '入',\n",
       " '兰',\n",
       " '共',\n",
       " '其',\n",
       " '冠',\n",
       " '出',\n",
       " '分',\n",
       " '别',\n",
       " '制',\n",
       " '力',\n",
       " '加',\n",
       " '动',\n",
       " '华',\n",
       " '卐',\n",
       " '卜',\n",
       " '压',\n",
       " '去',\n",
       " '取',\n",
       " '口',\n",
       " '吃',\n",
       " '后',\n",
       " '告',\n",
       " '哪',\n",
       " '問',\n",
       " '国',\n",
       " '在',\n",
       " '型',\n",
       " '复',\n",
       " '多',\n",
       " '大',\n",
       " '学',\n",
       " '宿',\n",
       " '将',\n",
       " '己',\n",
       " '常',\n",
       " '年',\n",
       " '并',\n",
       " '康',\n",
       " '廨',\n",
       " '建',\n",
       " '强',\n",
       " '彡',\n",
       " '德',\n",
       " '心',\n",
       " '态',\n",
       " '手',\n",
       " '持',\n",
       " '放',\n",
       " '料',\n",
       " '新',\n",
       " '是',\n",
       " '書',\n",
       " '机',\n",
       " '榨',\n",
       " '次',\n",
       " '武',\n",
       " '毒',\n",
       " '民',\n",
       " '汉',\n",
       " '汤',\n",
       " '没',\n",
       " '油',\n",
       " '波',\n",
       " '添',\n",
       " '烈',\n",
       " '無',\n",
       " '然',\n",
       " '煮',\n",
       " '状',\n",
       " '甜',\n",
       " '用',\n",
       " '病',\n",
       " '痛',\n",
       " '皮',\n",
       " '答',\n",
       " '粉',\n",
       " '级',\n",
       " '联',\n",
       " '胡',\n",
       " '能',\n",
       " '舍',\n",
       " '芹',\n",
       " '茶',\n",
       " '菜',\n",
       " '萝',\n",
       " '蝙',\n",
       " '蝠',\n",
       " '要',\n",
       " '誡',\n",
       " '议',\n",
       " '質',\n",
       " '赛',\n",
       " '超',\n",
       " '这',\n",
       " '那',\n",
       " '配',\n",
       " '里',\n",
       " '鉴',\n",
       " '钟',\n",
       " '锅',\n",
       " '非',\n",
       " '面',\n",
       " '額',\n",
       " '食',\n",
       " '首',\n",
       " '高',\n",
       " '黎',\n",
       " '黑',\n",
       " 'ꙮ',\n",
       " 'ꜜ',\n",
       " 'ꭹ',\n",
       " 'ꮙ',\n",
       " 'ꮮ',\n",
       " 'ꮷ',\n",
       " '국',\n",
       " '니',\n",
       " '다',\n",
       " '당',\n",
       " '드',\n",
       " '레',\n",
       " '림',\n",
       " '립',\n",
       " '부',\n",
       " '브',\n",
       " '블',\n",
       " '션',\n",
       " '소',\n",
       " '슈',\n",
       " '시',\n",
       " '싸',\n",
       " '엔',\n",
       " '웨',\n",
       " '이',\n",
       " '입',\n",
       " '장',\n",
       " '주',\n",
       " '중',\n",
       " '첸',\n",
       " '취',\n",
       " '켜',\n",
       " '콘',\n",
       " '콩',\n",
       " '탁',\n",
       " '티',\n",
       " '팬',\n",
       " '해',\n",
       " '홍',\n",
       " 'ｃ',\n",
       " 'ﾉ',\n",
       " 'ﾟ'}"
      ]
     },
     "execution_count": 48,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "char_set.difference(char_set2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"جا\"|\".\"|\"💉آزمایش\"|\"واکسن\"|\"قطعی\"|\"کرونا\"|\"برای\"|\"اولین\"|\"بار\"|\"در\"|\"زودنیوز😂\"'"
      ]
     },
     "execution_count": 50,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dfpre['tokens'].iloc[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "dfpre['tokenlist'] = dfpre['tokens'].apply(lambda x : x.replace('\"' , \"\").split('|'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'اونجا'"
      ]
     },
     "execution_count": 57,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dfpre.iloc[0]['tokenlist'][3]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def no_word(c):\n",
    "    if \"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'',\n",
       " 'com/akhbare_zohur',\n",
       " '#جدیدترین_خبرها_از_ویروس_کرونا',\n",
       " '@farzandan_e_khoor',\n",
       " '🔴کشورهایی',\n",
       " '@agh_mangool',\n",
       " 'واقعیت',\n",
       " 'سرابحمام',\n",
       " 'برگزار',\n",
       " 'net/fa/tiny/news-537819',\n",
       " 'ir/news/83647462/',\n",
       " '@shahrdari93',\n",
       " '✳️حیات',\n",
       " '#اخبار_پولی_مالی',\n",
       " '🔸اداره',\n",
       " '🔹همزمان',\n",
       " '👈😈',\n",
       " '@ava_moallem',\n",
       " '✍✍',\n",
       " '@kurdpayam',\n",
       " 'نقد',\n",
       " 'ru/M6w6C',\n",
       " '@midanestii7',\n",
       " '⭕️خبرهای',\n",
       " '🔹گوشت',\n",
       " 'شهرداد🔻',\n",
       " 'فزاینده',\n",
       " 'مسلم',\n",
       " '@TextGrophy',\n",
       " '@moviez_co',\n",
       " 'راهور',\n",
       " 'me/joinchat/BdDBMTubT8k63A4GgV-31A',\n",
       " '\\ufeff\\ufeff\\ufeff\\ufeff',\n",
       " 'شاهسونلرکانالی',\n",
       " 'طلبی',\n",
       " '@Avayyeiran',\n",
       " '✍️',\n",
       " 'نترسون',\n",
       " 'شد❌',\n",
       " '@eshghvashear',\n",
       " '🍃🍁',\n",
       " '@HOBBOOT',\n",
       " '@Baneh_Rouydad',\n",
       " 'فیلمو',\n",
       " '@savoojbolagh',\n",
       " 'شگفت\\u200cانگیزان',\n",
       " '@inbogzarad😁😁😁😁😁',\n",
       " '@SOOGHOOTEMAN',\n",
       " 'com/fa/news/449907/تدابیر-پیشگیرانه-ورود-ویروس-کرونا-تهران-اعلام',\n",
       " '#فرانک_فرقانی',\n",
       " '@deshekasteha',\n",
       " '@bookanpress',\n",
       " '😂😂😂😂😂😂😂',\n",
       " 'me/kea92',\n",
       " 'دماونگ',\n",
       " '@azarakhsh620',\n",
       " 'نفت\\u200cخام',\n",
       " 'رویدادها',\n",
       " 'وچاپ',\n",
       " 'نابابه😂😂😂',\n",
       " 'me/joinchat/AAAAAEMumtDWeE_oyzCXPg',\n",
       " 'ir/news/detail/62694',\n",
       " '\\u200c🌍',\n",
       " '@paraknews',\n",
       " 'باندی',\n",
       " '۰۰۹۸۲۱۶۱۱۵۳۲۰',\n",
       " '😷یافته',\n",
       " '@AnayurdumGolestan',\n",
       " '@sarvabad',\n",
       " 'me/Weatherofafghanistan',\n",
       " 'کنید/',\n",
       " '🔹️دولت',\n",
       " '😊😜',\n",
       " 'اتوبوس',\n",
       " '@kishe_mehr98',\n",
       " '@khabarerasmi',\n",
       " 'Armyofmurphy',\n",
       " 'بتواند',\n",
       " 'ʲᵒᶦⁿ🔜',\n",
       " '🍁اولکام',\n",
       " 'ممنوع',\n",
       " '@nasirabad3558',\n",
       " '@Khaardaaraan',\n",
       " '@AtrKhuda',\n",
       " 'شده😑😂',\n",
       " 'com/news/878304/',\n",
       " '#ایران',\n",
       " '🔆آخرین',\n",
       " '@namalim_Official',\n",
       " 'bartarinha',\n",
       " '🦠چۆنیەتی',\n",
       " '@Ghahvetalkhk',\n",
       " '👈وزیر',\n",
       " 'فرانک',\n",
       " '#فووووررری',\n",
       " 'بسته شود',\n",
       " '@maahanfilm',\n",
       " 'توزیع',\n",
       " '@lorestaannews',\n",
       " 'ترسانند',\n",
       " '🌺بزرگترین',\n",
       " '@haji_ghelyooni',\n",
       " '🔹هیچ\\u200cیک',\n",
       " '_پیشگیری',\n",
       " '@Aroom_yavashh',\n",
       " '♦️سازمان',\n",
       " '@motefavetbashid',\n",
       " 'مانند',\n",
       " '💢جدی',\n",
       " '🏮شمار',\n",
       " 'p=75892',\n",
       " 'واجبات',\n",
       " 'وجان',\n",
       " 'اینستاگرام👇👇',\n",
       " '@armanshahr_96',\n",
       " '۹۷۶',\n",
       " '@salamalamdar',\n",
       " '4',\n",
       " '@khabarnamehonline',\n",
       " '➖معاون',\n",
       " 'کشور/AFP',\n",
       " 'میزان',\n",
       " '@ffans',\n",
       " '@kanalmashhadrizeh',\n",
       " 'میخری',\n",
       " '🆔@Enghelabioon_Minoodasht',\n",
       " 'rasht20',\n",
       " '@nowzarabad',\n",
       " 'بطری',\n",
       " 'it',\n",
       " '@keykabad📿®',\n",
       " '🇯\\u200c🇴\\u200c🇮\\u200c🇳👇',\n",
       " 'ندیم',\n",
       " '📸♨️عملیات',\n",
       " '@shahabieh',\n",
       " '@sokootam_por_az_boghzah',\n",
       " 'طــــــــرقـــــــبـــــــــه',\n",
       " '😔😱😝😝😝',\n",
       " 'public',\n",
       " 'ئێستا',\n",
       " 'گسترده\\u200cای',\n",
       " 'مهمترین',\n",
       " 'هرکی',\n",
       " '#به_پایگاه_خبری_پاوه_بپیوندید',\n",
       " '▫️کلیپ',\n",
       " '#توصیه\\u200cها',\n",
       " 'واتساپ',\n",
       " '@shirmozbastane',\n",
       " '🙄🙄🙄🙄🙄🙄',\n",
       " '@sipeychannel',\n",
       " 'محافظ',\n",
       " '@patayaxx33',\n",
       " 'me/KHORASANINEWS',\n",
       " 'خودایمنی',\n",
       " 'ماجرا',\n",
       " '🍁تلگرامخونه',\n",
       " 'زن',\n",
       " '#جهانگیری',\n",
       " 'تبریزمن👇',\n",
       " 'me/pndair',\n",
       " '@khabar_poshtejin',\n",
       " '@zahedan_today',\n",
       " '➹➷➹➷➹➷➹',\n",
       " '@eghlimap',\n",
       " '\\u200c🔴فوری',\n",
       " 'سبزوار👇',\n",
       " 'بیز',\n",
       " 'فور\\u200cی',\n",
       " '@qomstu',\n",
       " 'کمتر',\n",
       " 'پن',\n",
       " '😂🚶\\u200c♀',\n",
       " '@Najvayearefaneh',\n",
       " 'همینجاست',\n",
       " 'me/joinchat/BLguSD6MWd4eIrX191qRyw',\n",
       " 'me/joinchat/AAAAAD9jCzXnya4B6hBsLw',\n",
       " '@hamdeli_zn',\n",
       " '@kisekeshe',\n",
       " '🔰پیشرفت',\n",
       " 'سوریه',\n",
       " 'تبریز',\n",
       " '🌺کوره\\u200cسونی\\u200cلر',\n",
       " '🔹مبتلایان',\n",
       " '📹کرونا',\n",
       " '#ایسنا',\n",
       " '@diyarmantajangokeh',\n",
       " '@u_t_n_n',\n",
       " '❀↫',\n",
       " '@jiiiikjiko',\n",
       " 'ایرانیان',\n",
       " '@bazneshasteh',\n",
       " 'آورد/',\n",
       " '2019-nCoV',\n",
       " 'مرتبط',\n",
       " '@darmianonline',\n",
       " 'me/HezarDastan_News',\n",
       " 'نبی',\n",
       " '😩😲😲😩',\n",
       " '۱۷۰۰',\n",
       " 'گردشگرهای',\n",
       " '@e_mofid',\n",
       " '@Dictatora',\n",
       " '🔰♦',\n",
       " '@hamikhabar',\n",
       " '@KurdSalamat',\n",
       " '@vostakolaa',\n",
       " '@coconuuuut🥥',\n",
       " 'ایرکانادا',\n",
       " '🔺سفارت',\n",
       " 'چینی\\u200cها',\n",
       " 'الصینی',\n",
       " '@biiidal🍃',\n",
       " '@Akhbar_ir',\n",
       " 'تنم',\n",
       " '@picfit',\n",
       " '🏆',\n",
       " '@salemim_roozipak',\n",
       " '🌐لینک',\n",
       " '@teruamp',\n",
       " 'کیرم',\n",
       " 'کرالا',\n",
       " '@BOKAN_RUDAW',\n",
       " 'سرانجیک',\n",
       " '@majzom',\n",
       " '┗━━✨',\n",
       " '@Astanehma',\n",
       " 'تووشی',\n",
       " '@mohabatnews',\n",
       " '@amolemroz⚡',\n",
       " 'سسی🌟',\n",
       " '💥فوری💥',\n",
       " '➰@n1092',\n",
       " '@weedfaze',\n",
       " '☑️اولین',\n",
       " 'com/bandpeysarayeman',\n",
       " '#کاستر',\n",
       " '⚪️🔵',\n",
       " '┗━━━✨🌺✨━━━┛',\n",
       " '👁\\u200c🗨هـــــورانـــد',\n",
       " '@POMCPR',\n",
       " '@poshak',\n",
       " 'ru/LzzKc',\n",
       " '#ویژه_برنامه_سال_نو_چینی_ها',\n",
       " '@didabansasi👈',\n",
       " '@khabarenu',\n",
       " 'الع',\n",
       " 'ایسنا',\n",
       " 'گناه',\n",
       " 'مسعود',\n",
       " '⭕️ادعای',\n",
       " '~~~~~~~~~~~~~~~~~',\n",
       " '🇮🇷🇮🇷🇮🇷🇮🇷🇮🇷🇮🇷🇮🇷🇮🇷🇮🇷🇮🇷🇮🇷🇮🇷',\n",
       " '@noghondar_news',\n",
       " '☘📺☘',\n",
       " '🔹آموزش',\n",
       " '@herat_breaking_news',\n",
       " 'ش😜😜😜😁😁😁😁',\n",
       " '🖋مرگبار',\n",
       " '@koshtibbs',\n",
       " 'صف',\n",
       " 'عاملین',\n",
       " '#رزیدنت_اویل',\n",
       " 'بهداشتی',\n",
       " '☀️طلوع',\n",
       " '@Kermanfars',\n",
       " 'هردوکمان',\n",
       " '#اخبار_سلامت_کلات',\n",
       " '@Clipiruni',\n",
       " '@namin_khabarr',\n",
       " 'مسوول',\n",
       " '🔗دانشمندان',\n",
       " '@VoiceMagry',\n",
       " '✅@serownews',\n",
       " '@foqtosiane',\n",
       " '@love_2_lovee',\n",
       " '@viiroteen😑',\n",
       " 'تضمینی',\n",
       " 'پایش',\n",
       " '@hamava_1',\n",
       " '#خود\\u200cمراقبتی',\n",
       " '@shookhishakhdar',\n",
       " '@mahdien10313',\n",
       " 'میدون',\n",
       " '🌍🔇📣جدیدترین',\n",
       " '@bzmaje',\n",
       " 'بودیم',\n",
       " '🌹🌷🌹',\n",
       " '@AzarBakhish_ir',\n",
       " '♦️سفارت',\n",
       " '#اخباررر',\n",
       " '1⃣رئیس',\n",
       " '🔸۱۰۰',\n",
       " '@IRINN',\n",
       " 'تسلیت🤦\\u200c♂',\n",
       " '@Toofan_tahlil_vip',\n",
       " '@Pato_to',\n",
       " '#همشهری_همدان',\n",
       " 'لـــــــــانتـــوری',\n",
       " '🔻راه\\u200cاندازی',\n",
       " 'شایع',\n",
       " 'اولدی',\n",
       " 'ru/M79HK',\n",
       " 'پست',\n",
       " '@sabzarbat',\n",
       " '🌺ارسال',\n",
       " 'بریزن',\n",
       " '@turk_qizlari',\n",
       " '😷چه',\n",
       " 'PASIEKA',\n",
       " '@akhbareseyl',\n",
       " 'بچه',\n",
       " '@BasirabadNews',\n",
       " '@inestagram123',\n",
       " '🛑ویروس',\n",
       " '@DekhalatNakon',\n",
       " '#شهریار_اندیشه_باغستان_صباشهر_فردوسیه_وحیدیه_شاهدشهر',\n",
       " '📌منابع',\n",
       " '#انتقام_سخت',\n",
       " 'قفله',\n",
       " 'آتی',\n",
       " '@h2_khandagh',\n",
       " '🔸امروز',\n",
       " '♻️کرونا',\n",
       " '@GoSHaDeSM',\n",
       " 'ir/bafghkhabar',\n",
       " '@badansazan_vip',\n",
       " 'می\\u200cکشند',\n",
       " '@fardayemahvelat',\n",
       " '#کرونا👁\\u200c🗨',\n",
       " 'تایپ',\n",
       " '☹️😬🤨🥴',\n",
       " 'تتلوروبیارن',\n",
       " 'ڕووداو',\n",
       " 'ru/M7oxw',\n",
       " 'زاهدان',\n",
       " 'kiapress',\n",
       " 'ئەوانن',\n",
       " 'شهرستان👇👇',\n",
       " '▫️فرانسه',\n",
       " 'بورس&zwnj;های',\n",
       " 'خصوصی',\n",
       " '🌺🍃\\ufeff',\n",
       " '🔻اصلا',\n",
       " '🔴ویروس',\n",
       " '@Orumieh',\n",
       " 'p=157147',\n",
       " '#یافته',\n",
       " 'لینک⛔️',\n",
       " 'ستاد',\n",
       " '@jadehabrisham94',\n",
       " 'تعدادی',\n",
       " 'زیاد',\n",
       " 'داروخانه\\u200cای',\n",
       " '🔔😂',\n",
       " 'محله🌞',\n",
       " 'میشد',\n",
       " '#حامث',\n",
       " '@Miyanrod🌸🌸🌸',\n",
       " 'akhbar-rooz',\n",
       " '98/11/6',\n",
       " '#تشخیص',\n",
       " 'فراماسونری',\n",
       " '❌رئیس',\n",
       " '@dokhtaran40',\n",
       " 'نبات',\n",
       " '🔻باید',\n",
       " '@chemistrytweet',\n",
       " '۴-در',\n",
       " '1394🔰',\n",
       " 'خایه',\n",
       " '✅@bekhand_bashe👈',\n",
       " 'شنویم',\n",
       " 'شما',\n",
       " 'مسی',\n",
       " 'کرونا😷🥺',\n",
       " 'آموزش\\u200cها',\n",
       " 'me/joinchat/AAAAADwbGx4lVnzlFWnGQw',\n",
       " 'shere',\n",
       " '۲۱۳',\n",
       " '@bahar_khabar',\n",
       " '😌',\n",
       " '@atadaroo🌿',\n",
       " '@servatkanal',\n",
       " 'سرمایه\\u200cگذاران',\n",
       " 'کنی',\n",
       " '@jooonz85😹👅💦',\n",
       " '30453',\n",
       " '@shahreshapourabad',\n",
       " 'آشنائی',\n",
       " '@mamana_esf',\n",
       " 'روزتون',\n",
       " 'فی',\n",
       " 'بپیوندید↘️',\n",
       " '@agencynewsiran',\n",
       " 'جان\\u200c',\n",
       " 'خورناک',\n",
       " 'ru/M2XF8',\n",
       " '📣همه',\n",
       " '@TeenTweet',\n",
       " '@IMANuBAWAR',\n",
       " '😹😹😹',\n",
       " '🆔@YoutopClinic',\n",
       " '@Hakiimbashi',\n",
       " '@Historyiranworld',\n",
       " 'کلیه',\n",
       " 'ناباب😂😂😂😂',\n",
       " '\\u200c\\u200e\\u200c\\u200e\\u200c\\u200e\\u200c\\u200e\\u200c\\u200e\\u200c',\n",
       " 'عه',\n",
       " '@Baby_Gogoli',\n",
       " '😂😂👌',\n",
       " 'گردشگری',\n",
       " 'ru/M65LR',\n",
       " '💥موردی',\n",
       " '#شماره_4728',\n",
       " '@Funny_Plate',\n",
       " '@hamdelan_121',\n",
       " '@darham2030',\n",
       " 'me/farmandari_jam',\n",
       " '^^',\n",
       " 'یزدیها👇',\n",
       " '\\u200cوارد',\n",
       " '@iranpezhvak',\n",
       " 'دردو',\n",
       " 'کات',\n",
       " 'رحمانه',\n",
       " 'انسان\\u200cها',\n",
       " '@aroom_yavashh',\n",
       " 'فردیس',\n",
       " '✔️با',\n",
       " '⚡',\n",
       " '@funclubbb',\n",
       " '#اخبارشبانگاهی',\n",
       " '@chinatour',\n",
       " '@tafakore_javan',\n",
       " '🔺بیماری',\n",
       " 'ئامێزت',\n",
       " 'me/azadandishan_sarpol',\n",
       " '@havalishar',\n",
       " '🔻سازمان',\n",
       " '#صداوسیما',\n",
       " '@Lorestannews1',\n",
       " 'me/joinchat/GwwBlRSpY1wwXRZ-3mua5Q',\n",
       " '@OfficialTelegramer',\n",
       " 'وظیفه',\n",
       " '@turkmen_namakhabar',\n",
       " '@iiiraniii',\n",
       " '📛بیهوش',\n",
       " '😋🔜',\n",
       " '@merangaz',\n",
       " '[',\n",
       " '▫️وزیر',\n",
       " 'ca/ویروس-کرونا-بیمارستان-هزار-تختخوابی/',\n",
       " 'خوردیم',\n",
       " '🇮🇷👇👇',\n",
       " '🦠شمار',\n",
       " 'کرمانشاه',\n",
       " \"کرونا'\",\n",
       " '@restoranetajemahal1278',\n",
       " '@jadeeyektarafee',\n",
       " 'کشید👉🏼',\n",
       " 'تب',\n",
       " '\\u200c🍃کرونا',\n",
       " '75000',\n",
       " 'ImmunologyToday',\n",
       " '#کوزه_کنان_سسی',\n",
       " 'ترکا',\n",
       " '@fale_rouzane',\n",
       " '─┅─═🔬═─┅─🌻🌿',\n",
       " '▪️ورود',\n",
       " '@didbanpress',\n",
       " '💢۶',\n",
       " '@omane_ghadim',\n",
       " 'hamshahrionline',\n",
       " '@sangedehia',\n",
       " 'چینیها',\n",
       " '💥💥',\n",
       " 'J',\n",
       " 'سازم',\n",
       " '✋',\n",
       " 'ईइ═─',\n",
       " 'کانال\\u200cرسمی\\u200cبخش\\u200cماژین',\n",
       " '@Akhbarpezeshkirooz',\n",
       " 'آی@الله',\n",
       " '@kohandyar4',\n",
       " 'اعتراف',\n",
       " 'عااااااالیه😂',\n",
       " 'ریوی',\n",
       " 'شیو',\n",
       " '@RudawXane',\n",
       " '@deldaadeha',\n",
       " 'بع',\n",
       " '#وزیر',\n",
       " 'وپنجه',\n",
       " 'متخصصین',\n",
       " 'گوشمونه😐',\n",
       " '@journalistsir',\n",
       " 'ژاپنیا',\n",
       " '✔️کانال',\n",
       " '@khandepare',\n",
       " '@gunayydin',\n",
       " 'بجستان',\n",
       " '🅾ادامه',\n",
       " '#کشتار_وسیع_در_انتظار_ایران',\n",
       " 'مستند',\n",
       " '@MojezehSabzz',\n",
       " '⚠شمار',\n",
       " 'بنابرین',\n",
       " '@sweet_dreeam',\n",
       " '@simanews',\n",
       " 'مشاهده',\n",
       " 'Documentary▒░',\n",
       " '\\u200cℒℴνℯ',\n",
       " '⬅️نخستین',\n",
       " '🤣🤣',\n",
       " '#خطای_انسانی',\n",
       " '🔹تمدید',\n",
       " '@katoolkhabar',\n",
       " '◍⃟🧿@Lidocaene',\n",
       " 'ly/2uGFuxz',\n",
       " 'شب\\u200cهای',\n",
       " '🔻تازه',\n",
       " '@kafnews',\n",
       " 'fitoland',\n",
       " '@askloftenanlamaz',\n",
       " 'گذشتم',\n",
       " '@TITR_GHARB',\n",
       " '#پیشگیرانه',\n",
       " '@aharjok',\n",
       " 'ردپا',\n",
       " '🔰فارس',\n",
       " '♨️#شیادی',\n",
       " '@jiychannel24',\n",
       " 'خام',\n",
       " 'ئیمارات',\n",
       " 'کرونا‼️‼️',\n",
       " '@javadabadnews',\n",
       " '@Yamchiii',\n",
       " 'وگو',\n",
       " 'النازه',\n",
       " 'نمیبخشم😢😭',\n",
       " 'iranzamin',\n",
       " '@javanqalasesi',\n",
       " '😹',\n",
       " '🔸۱۲',\n",
       " 'جهان*',\n",
       " 'آذر',\n",
       " '💥هشدار',\n",
       " 'ir/fa/news/25245',\n",
       " 'وضعیت',\n",
       " 'وتصاویربیشتردرکانال',\n",
       " '@asre_hadishahr',\n",
       " '🅾‼️اینفوگرافیک',\n",
       " '@mehvare_salamat👈',\n",
       " 'نمیذاره',\n",
       " 'جشن',\n",
       " 'است/مازندران',\n",
       " 'هی',\n",
       " 'جــدیــد',\n",
       " 'تلگرامی🆔️@deghatnews',\n",
       " '@love_away',\n",
       " '#آنایوردوم_فیروزسالار',\n",
       " 'رسیده😂😂😂',\n",
       " '#اخبار_تهران',\n",
       " '۲۵',\n",
       " '✔️کـانـال',\n",
       " 'وباز',\n",
       " '✔️اولین',\n",
       " '@kurdistanefarda',\n",
       " '🤔😂',\n",
       " 'الفاتحه',\n",
       " '@modaresnews',\n",
       " '#طنز_تلخ',\n",
       " '@MrHex1',\n",
       " 'یکان💐',\n",
       " '@golestaneghadimojadid',\n",
       " 'دژنـــــی',\n",
       " 'ابادم',\n",
       " 'me/joinchat/FCwBGz9OGLMUuQ_QaOD0Nw',\n",
       " 'CDC',\n",
       " '⭕️علامت\\u200cگذاری',\n",
       " 'اقتصادآنلاین',\n",
       " '\\u200cدولت',\n",
       " '@maskansetareshahr',\n",
       " '👤دانشگاه',\n",
       " 'me/joinchat/AAAAAFFb94R6aWb8lV8MEw',\n",
       " '💕کانال',\n",
       " 'طولانی',\n",
       " 'مینو',\n",
       " '\\u200cJoin👇',\n",
       " '@osoolezendegi🌸',\n",
       " '┏━━━••❄️••━━━┓',\n",
       " '🔻خبرگزاری',\n",
       " 'مانتو',\n",
       " 'ادارات',\n",
       " '@Aghaeghazii',\n",
       " 'موافقان',\n",
       " 'سایر',\n",
       " 'ملعونه',\n",
       " '@ali_abad_parim',\n",
       " 'بهربرداری',\n",
       " '💕💕',\n",
       " '🔹فعلا',\n",
       " '//bbc',\n",
       " '┈••✾•🌺',\n",
       " '@bisetun1',\n",
       " '@farsbo',\n",
       " '@sistani_baluchestani',\n",
       " '🎭💦🎭',\n",
       " 'نیکشهرجلسه',\n",
       " '@shahr_baran',\n",
       " '@Iran_news_ajancy',\n",
       " '@Gizmiz56',\n",
       " '@garajefeyzallah',\n",
       " 'سگ\\u200cهای',\n",
       " 'کردستان',\n",
       " '🛑',\n",
       " '🔰🔴',\n",
       " 'شد🦇',\n",
       " '@XsHeR_SpOrT',\n",
       " 'me/joinchat/AAAAAFGglYiCXdSB7UYGUg',\n",
       " 'سایرام',\n",
       " 'می\\u200cفرستنش',\n",
       " '🔹رئیس',\n",
       " '@shahrodaa',\n",
       " '🙏',\n",
       " '@dashtedire',\n",
       " 'درآمد',\n",
       " 'شایعه\\u200cمبتلا',\n",
       " '@Toofargan',\n",
       " '@khndesaraa',\n",
       " 'ببینید👆',\n",
       " '@firozkalaisofla',\n",
       " 'میزهای',\n",
       " 'آسیب\\u200cهای',\n",
       " '\\u200c🗺',\n",
       " 'ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ',\n",
       " '🔜™',\n",
       " '🔸سوئد',\n",
       " '@Akharinkhabar',\n",
       " '@kashmar_rcs',\n",
       " 'مواردی',\n",
       " 'حادثه',\n",
       " '🍃_________',\n",
       " 'me/joinchat/AAAAAEWzHZBWiYnARTUUlA',\n",
       " 'تلخی',\n",
       " '/نور',\n",
       " '@Drezvan_ir',\n",
       " '🇮🇷join👉',\n",
       " 'بی\\u200cافتند',\n",
       " '@Akhtar_ir',\n",
       " '❌❌❌',\n",
       " '🎥👇📸👇📝',\n",
       " '@ili_team',\n",
       " '@Sport_Fouri',\n",
       " '@dartimos',\n",
       " '🔘آمریکا',\n",
       " '🔶تلفات',\n",
       " '@iranbiologists',\n",
       " '🔥⛔️',\n",
       " '۸',\n",
       " '@Ayur_veda',\n",
       " '☜join👅💦',\n",
       " 'عابربانک',\n",
       " 'بیشترین',\n",
       " 'میدانید',\n",
       " 'فرارو',\n",
       " '@kabodkelaye',\n",
       " '⚠️کرونا',\n",
       " '\\u200cکسی',\n",
       " '🤕🤕🤕🤒🤒🤒😬😬',\n",
       " 'منطقه۲۲👇',\n",
       " 'کرمانشاه👇',\n",
       " '🎲',\n",
       " '#درمورد_ویروس_خطرناک_کرونا',\n",
       " '🔄حوادث\\u200cرانندگی🌍',\n",
       " '@Hse96',\n",
       " '🇮🇷⚫@oshtorjin⚫🇮🇷',\n",
       " '#اینستاگرامی》👇',\n",
       " '❌جدی',\n",
       " '@DrSamiiOfficial',\n",
       " 'الفرج🙏🙏🙏',\n",
       " '@nasir_mahale',\n",
       " 'ماسک',\n",
       " 'کمتری',\n",
       " 'com/ebratha_ir',\n",
       " '♦️عملیات',\n",
       " '☃️',\n",
       " '@frmeskixam',\n",
       " 'ادامه\\u200cی',\n",
       " '🔹دادستان',\n",
       " 'تاپیلدی',\n",
       " '@For_art_for_people',\n",
       " 'خونست',\n",
       " '🔹گفتنی',\n",
       " '@tabnaksivan',\n",
       " '♦️پیش',\n",
       " '#حسینیه_شهدا',\n",
       " '#مرجع_رسمی_اخبارلرستان_',\n",
       " 'ویروس',\n",
       " 'لعنتیا',\n",
       " '@TickTack',\n",
       " '6000',\n",
       " '♨️ویروس',\n",
       " '۱۷راه',\n",
       " '@seharam1👈',\n",
       " '🛠',\n",
       " '@manoto26',\n",
       " 'لحظاتی',\n",
       " '@womenstudies',\n",
       " '🔹صبح',\n",
       " '@funsargarmidorehami',\n",
       " '🚫🚫🚫🚫🚫🚫🚫🚫🚫🚫🚫🚫🚫🛑🛑🛑🛑🛑🛑🛑🛑🛑🛑🛑🛑🛑',\n",
       " '💠ساخت',\n",
       " '۱۷۲۵',\n",
       " '@Khondi',\n",
       " '@dr_zaanan',\n",
       " 'پاچه\\u200cاس😏',\n",
       " 'In',\n",
       " '🇨🇳ویروس',\n",
       " 'است/شفقنا',\n",
       " '😁😂🤦\\u200c♂',\n",
       " 'me/joinchat/AAAAAEHT1SAg05l4B6DC9g',\n",
       " '@hamle_cyberi',\n",
       " 'فیلم\\u200cسازی',\n",
       " '#کمیسیون_بهداشت',\n",
       " '@Akhbarevijeh1',\n",
       " '@freemind_tel',\n",
       " 'رعآیت',\n",
       " '#کانون_فرهنگیان👇🏻🍃',\n",
       " '@clickforyou',\n",
       " '@R_ravar_khabar',\n",
       " 'کوردی-',\n",
       " '👆زورآباد',\n",
       " '@sarivdehonline',\n",
       " '#مطالعات_زنان',\n",
       " 'می\\u200cشد',\n",
       " 'شصت',\n",
       " 'ir/tHHR4S8HV',\n",
       " '#جدی_بگیریم⛔️',\n",
       " 'پوستر۲-',\n",
       " 'زلزله',\n",
       " 'com/news/881128/',\n",
       " 'me/ansarolmahdinazarabad',\n",
       " '@karshenasanebedonemarz',\n",
       " '#منتشر',\n",
       " '12هزارتایی',\n",
       " '#Masaf',\n",
       " '@dodar2',\n",
       " 'نامه\\u200c',\n",
       " '@psashakola_ir',\n",
       " '#چاولکانـیـا',\n",
       " 'ir/news/345994/',\n",
       " 'نگیری😂',\n",
       " 'نظری',\n",
       " '@diyalez',\n",
       " '#رم',\n",
       " '@majalle_pezeshki',\n",
       " '#لک_نیوز',\n",
       " '@ENVIRNMENT',\n",
       " 'com/news/881674/',\n",
       " 'میرهادی',\n",
       " '#کانال_خبری_فرهنگی_لردگان\\u200cبنگ',\n",
       " '@hajikelinton',\n",
       " 'آوریدم',\n",
       " '❄️هشدارهای',\n",
       " '>👉@jokoomook😂',\n",
       " 'برخی',\n",
       " '🔸شمار',\n",
       " '@titre1ir',\n",
       " '#رشیدآباد',\n",
       " 'ایله',\n",
       " '#کاناڵ_فەرهەنگی_دولاو',\n",
       " '🚩چین',\n",
       " '🌐@khabarr_ruzz',\n",
       " 'میشم😂',\n",
       " '🌃',\n",
       " '/خبرگزاری',\n",
       " '@kashmar',\n",
       " '@stereoshayan🌷🌷',\n",
       " '@shorayaritehran',\n",
       " 'تخصیص',\n",
       " '@khbar_negar',\n",
       " '۱۰۰درصدی',\n",
       " '@SandaliAlborz',\n",
       " 'مکتب',\n",
       " 'me/joinchat/AAAAAFYrkcOshdnckv1fNg',\n",
       " 'صحیح',\n",
       " 'مهر',\n",
       " '💟اخبار',\n",
       " 'فراگیرد',\n",
       " 'واگیر',\n",
       " 'هــمــدان👇🗣',\n",
       " '@jarestannews\\u200c',\n",
       " 'مجبورسوز',\n",
       " 'مغولستان',\n",
       " 'استکالند',\n",
       " 'صلوات🌹',\n",
       " 'me/tebpajooh/2215',\n",
       " 'ir/news/98110503400',\n",
       " 'کشته شدند',\n",
       " '@tanharahnejat1',\n",
       " 'اللە',\n",
       " '@Ardebilgram',\n",
       " '🌈',\n",
       " '✨✨کانال',\n",
       " '@paeezpelak96',\n",
       " 'بکنن',\n",
       " '\\u200cهر',\n",
       " 'حاضرید',\n",
       " 'نانوایی\\u200cها',\n",
       " 'امارات/',\n",
       " '@milad45666',\n",
       " '#کانال_سلام_خرسف👈',\n",
       " '@daeshh',\n",
       " '┌┄─┅═۞═┅─┄┐',\n",
       " '🔵🔵جدیدترین',\n",
       " 'هردوصورت',\n",
       " '🔺وزیر',\n",
       " '#بگایی',\n",
       " '⛑️',\n",
       " '@miandoab_fun_news',\n",
       " '🤦\\u200c♂️🤦\\u200c♂️😂',\n",
       " '۸۰',\n",
       " '@sardardelh',\n",
       " 'رسید\\u200c',\n",
       " '🔹مواردی',\n",
       " '❌جلسه',\n",
       " 'پیشروی',\n",
       " 'نگیرین',\n",
       " '@professionalanalysis1',\n",
       " '🔷\\u200cبا',\n",
       " '@Tec_show',\n",
       " '⚡#فوری',\n",
       " 'شویم/فروراد',\n",
       " '💢مجیدی',\n",
       " '#سفیر_هراز',\n",
       " '@TRJRC',\n",
       " 'دارند🔴🔴🔴',\n",
       " 'سیستم\\u200c',\n",
       " '#اکس_مسلم_اسکاندیناوی',\n",
       " '\\u200cکرونا',\n",
       " '⚠️⚠️کرونا',\n",
       " 'com/news/881925/',\n",
       " '#کرونا_منو_میکشه',\n",
       " '@rozhann20',\n",
       " '@ahangarkolabozorge',\n",
       " 'آلمان',\n",
       " '&rlm;ویروس',\n",
       " '@startupishow',\n",
       " '@avvazzi',\n",
       " '@ajiib',\n",
       " 'سوزوند',\n",
       " 'چرخ',\n",
       " '#چند_خبر_نو',\n",
       " '@xtoon',\n",
       " '@ebinews_com',\n",
       " 'می\\u200cبندیم',\n",
       " '@boghche56',\n",
       " 'me/joinchat/AAAAAER9XjbGmNCFk8_otg',\n",
       " 'عربستانم',\n",
       " '@nasimeeshghoamal',\n",
       " '۵۰',\n",
       " 'سوزد',\n",
       " '#اطلاع_نگاشت',\n",
       " 'باشید🕺🏻💃🏻',\n",
       " '@hayyatkhalvat',\n",
       " 'پشمای',\n",
       " '@honar3513',\n",
       " 'گرفت+فیلم',\n",
       " '@medical_university',\n",
       " '#پایگاه_شهید_حکمت_پناه',\n",
       " 'so',\n",
       " '@masoulehziba',\n",
       " '♨️🆔',\n",
       " '۴۶',\n",
       " '🔸هشدار',\n",
       " '@DarYazd',\n",
       " '@Payamnowbagh',\n",
       " '@hafezplus',\n",
       " '@zanano_mardan',\n",
       " '@KOHNESARBAZANVATAN👈',\n",
       " '@khabarnew2020',\n",
       " '☕️چه',\n",
       " 'نزدیکتره😢',\n",
       " '#عنتر',\n",
       " 'پزیشکیدان',\n",
       " '🖌فرد',\n",
       " '#ماینینگ',\n",
       " 'معاینه',\n",
       " 'قدر',\n",
       " 'درچن',\n",
       " 'بدبختیامون',\n",
       " 'براش😏',\n",
       " 'com/arazvatan_jolfa',\n",
       " 'نمود',\n",
       " '@lovezigroup',\n",
       " 'نمی\\u200cکنیم',\n",
       " 'نشده',\n",
       " '🔺بحران',\n",
       " '@etilaat_roz',\n",
       " 'گاو',\n",
       " '@pishi_joke',\n",
       " '۵',\n",
       " \"'ویروس\",\n",
       " 'طنزه',\n",
       " 'شود⚠️',\n",
       " 'قبوضم',\n",
       " 'me/joinchat/AAAAAD6lD02ZMCCdUKIzLQ',\n",
       " '\\u200cدهد',\n",
       " '#از_مردم_به_مردم',\n",
       " 'گیرمون',\n",
       " 'Shamsnews',\n",
       " 'بهمن',\n",
       " '18',\n",
       " 'یافتە',\n",
       " 'خبـــر',\n",
       " 'کرونا😂😂',\n",
       " 'کرونا😳😂',\n",
       " '@mmd3828',\n",
       " '✍',\n",
       " 'ویتامین',\n",
       " '@Yjcgolestan',\n",
       " 'تامین',\n",
       " '#هشدار_مهم',\n",
       " '🏮وضعیت',\n",
       " 'فرونر',\n",
       " '🛑🛑ویروس',\n",
       " 'سونامی',\n",
       " 'Niloo',\n",
       " '@sat_film',\n",
       " '@Anzalichi_Ir',\n",
       " '@Kaviron',\n",
       " '@shibliii',\n",
       " '#پیک_خبر_نهاوند',\n",
       " '📌عرفانی',\n",
       " 'هیشکی',\n",
       " '#فوری_نشر_دهید',\n",
       " 'اتباع',\n",
       " '▪︎طبق',\n",
       " '@PulpTwitts',\n",
       " '🚶\\u200c♂🖖',\n",
       " '@Bishouri',\n",
       " '@bioFarzanehRajabpoor',\n",
       " 'Nadia',\n",
       " '💢طبق',\n",
       " 'طی',\n",
       " 'کواکی',\n",
       " 'پرسد',\n",
       " 'خورده',\n",
       " 'me/joinchat/AAAAADvOFEKO2cWe8QpmAQ',\n",
       " '💢\\u200cکرونا',\n",
       " 'سلامت🍏',\n",
       " '⭐️چکار',\n",
       " '@Mojipress',\n",
       " 'شفقنا-',\n",
       " '500',\n",
       " 'تایلند/',\n",
       " '@karanistreet',\n",
       " '👈دانشمندان',\n",
       " '@Abdolahh_abad',\n",
       " 'واکسن',\n",
       " 'نمد🌹',\n",
       " '🔹انتقال',\n",
       " 'ربات',\n",
       " 'بیماری\\u200cآنها',\n",
       " '@bakharzquds',\n",
       " '@hamedanpayam',\n",
       " '۱۱۱',\n",
       " 'استفاده',\n",
       " 'امدن',\n",
       " '@kordichalnews',\n",
       " '#با_ما_همراه_باشید',\n",
       " 'مالزی/مالز\\u200cی',\n",
       " '🖊قلم',\n",
       " 'G',\n",
       " '@Tribone_Azad',\n",
       " '🧠🎓📚',\n",
       " 'وخود',\n",
       " '@namavarkola',\n",
       " '🚩ویروس',\n",
       " '___________________________________________',\n",
       " 'محمدرفیع',\n",
       " '🌕بیشتر',\n",
       " '🔻روزی',\n",
       " 'آخوندا',\n",
       " 'سخته😕',\n",
       " '@Abrishamiran',\n",
       " '🦄',\n",
       " 'کوریای',\n",
       " '@astaranews',\n",
       " '🆔@mahdyyon',\n",
       " '⚜⚜',\n",
       " 'پورن',\n",
       " '@GhyamIran98',\n",
       " 'ناخالص',\n",
       " '💞🍃',\n",
       " '🏠@Twitthoome',\n",
       " 'واردشد',\n",
       " '🔴تازه',\n",
       " '@tebeeslami786',\n",
       " ...}"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "words = set()\n",
    "dfpre['tokenlist'].apply(lambda x : [words.add(c)  for c in x])\n",
    "words"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>postId</th>\n",
       "      <th>index</th>\n",
       "      <th>textField_nlp_normal</th>\n",
       "      <th>textField_nlp_process</th>\n",
       "      <th>tokens</th>\n",
       "      <th>post_type</th>\n",
       "      <th>cluster_idx</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>1079529964_25538</td>\n",
       "      <td>0</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>1086067252_26025</td>\n",
       "      <td>1</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>1377161021_4990</td>\n",
       "      <td>2</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>1157337033_38567</td>\n",
       "      <td>3</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش ...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا 💉 آزما...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>5</td>\n",
       "      <td>1004929434_17521</td>\n",
       "      <td>4</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>R</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>6</td>\n",
       "      <td>1086049140_46260</td>\n",
       "      <td>5</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>R</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>7</td>\n",
       "      <td>1304810997_8811</td>\n",
       "      <td>6</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>R</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>8</td>\n",
       "      <td>1301660420_5340</td>\n",
       "      <td>7</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>9</td>\n",
       "      <td>1435425124_14799</td>\n",
       "      <td>8</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>10</td>\n",
       "      <td>1089423114_41340</td>\n",
       "      <td>9</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>R</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>11</td>\n",
       "      <td>1314455155_4840</td>\n",
       "      <td>10</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا.</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا .</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>12</td>\n",
       "      <td>1468702924_2326</td>\n",
       "      <td>11</td>\n",
       "      <td>🎥کرونا اینجا، کرونا اونجا، کرونا همه جا! /زودن...</td>\n",
       "      <td>🎥 کرونا اینجا ، کرونا اونجا ، کرونا همه جا ! ...</td>\n",
       "      <td>🎥کرونا|\"اینجا\"|\"،\"|\"کرونا\"|\"اونجا\"|\"،\"|\"کرونا\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>13</td>\n",
       "      <td>1290766220_643</td>\n",
       "      <td>12</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>14</td>\n",
       "      <td>1101486971_42453</td>\n",
       "      <td>13</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>15</td>\n",
       "      <td>1068986196_16289</td>\n",
       "      <td>14</td>\n",
       "      <td>😷 کرونا اینجا 🤧 کرونا اونجا 🤒 کرونا همه جا 💉 آ...</td>\n",
       "      <td>😷 کرونا اینجا 🤧 کرونا اونجا 🤒 کرونا همه جا 💉 ...</td>\n",
       "      <td>😷|\"کرونا\"|\"اینجا\"|\"🤧\"|\"کرونا\"|\"اونجا\"|\"🤒\"|\"کرو...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>16</td>\n",
       "      <td>1113885790_130131</td>\n",
       "      <td>15</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>17</td>\n",
       "      <td>1009954401_50787</td>\n",
       "      <td>16</td>\n",
       "      <td>🎥کرونا اینجا، کرونا اونجا، کرونا همه جا! /زودن...</td>\n",
       "      <td>🎥 کرونا اینجا ، کرونا اونجا ، کرونا همه جا ! ...</td>\n",
       "      <td>🎥کرونا|\"اینجا\"|\"،\"|\"کرونا\"|\"اونجا\"|\"،\"|\"کرونا\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>18</td>\n",
       "      <td>1009228495_14895</td>\n",
       "      <td>17</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>19</td>\n",
       "      <td>1139653862_48338</td>\n",
       "      <td>18</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>20</td>\n",
       "      <td>1322254254_4959</td>\n",
       "      <td>19</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا... @mard...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . &lt;rep...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>21</td>\n",
       "      <td>1310518935_33313</td>\n",
       "      <td>20</td>\n",
       "      <td>❄️🌟🍓 😷کرونا اینجا کرونا اونجا کرونا همه جا. @k...</td>\n",
       "      <td>❄️ 🌟 🍓 😷 کرونا اینجا کرونا اونجا کرونا همه جا...</td>\n",
       "      <td>❄️🌟🍓|\"😷کرونا\"|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>22</td>\n",
       "      <td>1068321269_6564</td>\n",
       "      <td>21</td>\n",
       "      <td>کلیپ_طنز کرونا اینجا کرونا اونجا کرونا همه جا....</td>\n",
       "      <td>کلیپ_طنز کرونا اینجا کرونا اونجا کرونا همه جا...</td>\n",
       "      <td>کلیپ_طنز|\"کرونا\"|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرون...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>23</td>\n",
       "      <td>1019527649_88574</td>\n",
       "      <td>22</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش ...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا 💉 آزما...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>24</td>\n",
       "      <td>1140747771_33159</td>\n",
       "      <td>23</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش ...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا 💉 آزما...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>25</td>\n",
       "      <td>1424347456_4438</td>\n",
       "      <td>24</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>26</td>\n",
       "      <td>1393893605_48990</td>\n",
       "      <td>25</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>27</td>\n",
       "      <td>1009797038_12143</td>\n",
       "      <td>26</td>\n",
       "      <td>کرونا اینجا کرونا اونجا کرونا همه‌جا. 💉 آزمایش...</td>\n",
       "      <td>کرونا اینجا کرونا اونجا کرونا همه ‌ جا . 💉 آز...</td>\n",
       "      <td>کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه‌جا\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>28</td>\n",
       "      <td>1080495378_53553</td>\n",
       "      <td>27</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>R</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>29</td>\n",
       "      <td>1112868734_14233</td>\n",
       "      <td>28</td>\n",
       "      <td>😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...</td>\n",
       "      <td>😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...</td>\n",
       "      <td>😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30</th>\n",
       "      <td>30</td>\n",
       "      <td>1074690364_56577</td>\n",
       "      <td>29</td>\n",
       "      <td>🔴خبر فوری 😷کرونا اینجا کرونا اونجا کرونا همه ج...</td>\n",
       "      <td>🔴 خبر فوری 😷 کرونا اینجا کرونا اونجا کرونا هم...</td>\n",
       "      <td>🔴خبر|\"فوری\"|\"😷کرونا\"|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "0    0             postId index  \\\n",
       "1    1   1079529964_25538     0   \n",
       "2    2   1086067252_26025     1   \n",
       "3    3    1377161021_4990     2   \n",
       "4    4   1157337033_38567     3   \n",
       "5    5   1004929434_17521     4   \n",
       "6    6   1086049140_46260     5   \n",
       "7    7    1304810997_8811     6   \n",
       "8    8    1301660420_5340     7   \n",
       "9    9   1435425124_14799     8   \n",
       "10  10   1089423114_41340     9   \n",
       "11  11    1314455155_4840    10   \n",
       "12  12    1468702924_2326    11   \n",
       "13  13     1290766220_643    12   \n",
       "14  14   1101486971_42453    13   \n",
       "15  15   1068986196_16289    14   \n",
       "16  16  1113885790_130131    15   \n",
       "17  17   1009954401_50787    16   \n",
       "18  18   1009228495_14895    17   \n",
       "19  19   1139653862_48338    18   \n",
       "20  20    1322254254_4959    19   \n",
       "21  21   1310518935_33313    20   \n",
       "22  22    1068321269_6564    21   \n",
       "23  23   1019527649_88574    22   \n",
       "24  24   1140747771_33159    23   \n",
       "25  25    1424347456_4438    24   \n",
       "26  26   1393893605_48990    25   \n",
       "27  27   1009797038_12143    26   \n",
       "28  28   1080495378_53553    27   \n",
       "29  29   1112868734_14233    28   \n",
       "30  30   1074690364_56577    29   \n",
       "\n",
       "0                                textField_nlp_normal  \\\n",
       "1   😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "2   😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "3   😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "4   😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش ...   \n",
       "5   😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "6   😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "7   😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "8   😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "9   😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "10  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "11             😷کرونا اینجا کرونا اونجا کرونا همه جا.   \n",
       "12  🎥کرونا اینجا، کرونا اونجا، کرونا همه جا! /زودن...   \n",
       "13  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "14  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "15  😷 کرونا اینجا 🤧 کرونا اونجا 🤒 کرونا همه جا 💉 آ...   \n",
       "16  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "17  🎥کرونا اینجا، کرونا اونجا، کرونا همه جا! /زودن...   \n",
       "18  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "19  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "20  😷کرونا اینجا کرونا اونجا کرونا همه جا... @mard...   \n",
       "21  ❄️🌟🍓 😷کرونا اینجا کرونا اونجا کرونا همه جا. @k...   \n",
       "22  کلیپ_طنز کرونا اینجا کرونا اونجا کرونا همه جا....   \n",
       "23  😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش ...   \n",
       "24  😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش ...   \n",
       "25  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "26  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "27  کرونا اینجا کرونا اونجا کرونا همه‌جا. 💉 آزمایش...   \n",
       "28  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "29  😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمایش...   \n",
       "30  🔴خبر فوری 😷کرونا اینجا کرونا اونجا کرونا همه ج...   \n",
       "\n",
       "0                               textField_nlp_process  \\\n",
       "1    😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "2    😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "3    😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "4    😷 کرونا اینجا کرونا اونجا کرونا همه جا 💉 آزما...   \n",
       "5    😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "6    😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "7    😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "8    😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "9    😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "10   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "11          😷 کرونا اینجا کرونا اونجا کرونا همه جا .    \n",
       "12   🎥 کرونا اینجا ، کرونا اونجا ، کرونا همه جا ! ...   \n",
       "13   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "14   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "15   😷 کرونا اینجا 🤧 کرونا اونجا 🤒 کرونا همه جا 💉 ...   \n",
       "16   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "17   🎥 کرونا اینجا ، کرونا اونجا ، کرونا همه جا ! ...   \n",
       "18   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "19   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "20   😷 کرونا اینجا کرونا اونجا کرونا همه جا . <rep...   \n",
       "21   ❄️ 🌟 🍓 😷 کرونا اینجا کرونا اونجا کرونا همه جا...   \n",
       "22   کلیپ_طنز کرونا اینجا کرونا اونجا کرونا همه جا...   \n",
       "23   😷 کرونا اینجا کرونا اونجا کرونا همه جا 💉 آزما...   \n",
       "24   😷 کرونا اینجا کرونا اونجا کرونا همه جا 💉 آزما...   \n",
       "25   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "26   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "27   کرونا اینجا کرونا اونجا کرونا همه ‌ جا . 💉 آز...   \n",
       "28   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "29   😷 کرونا اینجا کرونا اونجا کرونا همه جا . 💉 آز...   \n",
       "30   🔴 خبر فوری 😷 کرونا اینجا کرونا اونجا کرونا هم...   \n",
       "\n",
       "0                                              tokens post_type cluster_idx  \n",
       "1   😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "2   😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "3   😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "4   😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "5   😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...         R           1  \n",
       "6   😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...         R           1  \n",
       "7   😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...         R           2  \n",
       "8   😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "9   😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "10  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...         R           2  \n",
       "11  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "12  🎥کرونا|\"اینجا\"|\"،\"|\"کرونا\"|\"اونجا\"|\"،\"|\"کرونا\"...       NaN         NaN  \n",
       "13  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "14  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "15  😷|\"کرونا\"|\"اینجا\"|\"🤧\"|\"کرونا\"|\"اونجا\"|\"🤒\"|\"کرو...       NaN         NaN  \n",
       "16  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "17  🎥کرونا|\"اینجا\"|\"،\"|\"کرونا\"|\"اونجا\"|\"،\"|\"کرونا\"...       NaN         NaN  \n",
       "18  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "19  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "20  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "21  ❄️🌟🍓|\"😷کرونا\"|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|...       NaN         NaN  \n",
       "22  کلیپ_طنز|\"کرونا\"|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرون...       NaN         NaN  \n",
       "23  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "24  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "25  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "26  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "27  کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه‌جا\"...       NaN         NaN  \n",
       "28  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...         R           2  \n",
       "29  😷کرونا|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"کرونا\"|\"همه\"|\"...       NaN         NaN  \n",
       "30  🔴خبر|\"فوری\"|\"😷کرونا\"|\"اینجا\"|\"کرونا\"|\"اونجا\"|\"...       NaN         NaN  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "worddocument=[]\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## work on raw data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>fwd_postId</th>\n",
       "      <th>hashtagField</th>\n",
       "      <th>mentionField</th>\n",
       "      <th>ownerId</th>\n",
       "      <th>ownerName</th>\n",
       "      <th>postId</th>\n",
       "      <th>tagField</th>\n",
       "      <th>textField</th>\n",
       "      <th>textField_normal</th>\n",
       "      <th>time_jalali</th>\n",
       "      <th>timestamp</th>\n",
       "      <th>views</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1079529964</td>\n",
       "      <td>\"kisalanalbom\"</td>\n",
       "      <td>1079529964_25538</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-11 19:34:07</td>\n",
       "      <td>1580486647</td>\n",
       "      <td>\"49\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"kalasar_news\"</td>\n",
       "      <td>1086067252</td>\n",
       "      <td>\"kalasar_news\"</td>\n",
       "      <td>1086067252_26025</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-10 23:01:56</td>\n",
       "      <td>1580412716</td>\n",
       "      <td>\"139\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1377161021</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1377161021_4990</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-11 11:42:46</td>\n",
       "      <td>1580458366</td>\n",
       "      <td>\"273\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1157337033</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1157337033_38567</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-11 17:24:53</td>\n",
       "      <td>1580478893</td>\n",
       "      <td>\"31\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1004929434</td>\n",
       "      <td>\"gareshg\"</td>\n",
       "      <td>1004929434_17521</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-10 23:22:15</td>\n",
       "      <td>1580413935</td>\n",
       "      <td>\"77\"</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Unnamed: 0 fwd_postId hashtagField    mentionField     ownerId  \\\n",
       "0           0         \"\"           \"\"              \"\"  1079529964   \n",
       "1           1         \"\"           \"\"  \"kalasar_news\"  1086067252   \n",
       "2           2         \"\"           \"\"              \"\"  1377161021   \n",
       "3           3         \"\"           \"\"              \"\"  1157337033   \n",
       "4           4         \"\"           \"\"              \"\"  1004929434   \n",
       "\n",
       "        ownerName            postId tagField  \\\n",
       "0  \"kisalanalbom\"  1079529964_25538       \"\"   \n",
       "1  \"kalasar_news\"  1086067252_26025       \"\"   \n",
       "2              \"\"   1377161021_4990       \"\"   \n",
       "3              \"\"  1157337033_38567       \"\"   \n",
       "4       \"gareshg\"  1004929434_17521       \"\"   \n",
       "\n",
       "                                           textField  \\\n",
       "0  \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "1  \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "2  \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "3  \"😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش...   \n",
       "4  \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "\n",
       "                                    textField_normal          time_jalali  \\\n",
       "0  \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-11 19:34:07   \n",
       "1  \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-10 23:01:56   \n",
       "2  \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-11 11:42:46   \n",
       "3  \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-11 17:24:53   \n",
       "4  \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-10 23:22:15   \n",
       "\n",
       "    timestamp  views  \n",
       "0  1580486647   \"49\"  \n",
       "1  1580412716  \"139\"  \n",
       "2  1580458366  \"273\"  \n",
       "3  1580478893   \"31\"  \n",
       "4  1580413935   \"77\"  "
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0         [None, None, None, None, None, None, None, Non...\n",
       "1         [None, None, None, None, None, None, None, Non...\n",
       "2         [None, None, None, None, None, None, None, Non...\n",
       "3         [None, None, None, None, None, None, None, Non...\n",
       "4         [None, None, None, None, None, None, None, Non...\n",
       "                                ...                        \n",
       "224064    [None, None, None, None, None, None, None, Non...\n",
       "224065    [None, None, None, None, None, None, None, Non...\n",
       "224066    [None, None, None, None, None, None, None, Non...\n",
       "224067    [None, None, None, None, None, None, None, Non...\n",
       "224068    [None, None, None, None, None, None, None, Non...\n",
       "Name: textField, Length: 224069, dtype: object"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "char_set = set()\n",
    "df['textField'].apply(lambda x : [char_set.add(c) for c in x])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2416"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(char_set)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [],
   "source": [
    "def print_field(df , field):\n",
    "    df.apply(lambda x : print(type(x)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'so'"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from langdetect import detect_langs , detect\n",
    "detect(\"dsadsada\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'\"#ویس هم کرونا داخ کرونا😂 @voisekordi @voisekordi\"'"
      ]
     },
     "execution_count": 70,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "temp = df.iloc[200:300]\n",
    "temp[temp['textField'].map(lambda x : detect(x)!='fa')]['textField'].iloc[3]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>fwd_postId</th>\n",
       "      <th>hashtagField</th>\n",
       "      <th>mentionField</th>\n",
       "      <th>ownerId</th>\n",
       "      <th>ownerName</th>\n",
       "      <th>postId</th>\n",
       "      <th>tagField</th>\n",
       "      <th>textField</th>\n",
       "      <th>textField_normal</th>\n",
       "      <th>time_jalali</th>\n",
       "      <th>timestamp</th>\n",
       "      <th>views</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1079529964</td>\n",
       "      <td>\"kisalanalbom\"</td>\n",
       "      <td>1079529964_25538</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-11 19:34:07</td>\n",
       "      <td>1580486647</td>\n",
       "      <td>\"49\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"kalasar_news\"</td>\n",
       "      <td>1086067252</td>\n",
       "      <td>\"kalasar_news\"</td>\n",
       "      <td>1086067252_26025</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-10 23:01:56</td>\n",
       "      <td>1580412716</td>\n",
       "      <td>\"139\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1377161021</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1377161021_4990</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-11 11:42:46</td>\n",
       "      <td>1580458366</td>\n",
       "      <td>\"273\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1157337033</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1157337033_38567</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-11 17:24:53</td>\n",
       "      <td>1580478893</td>\n",
       "      <td>\"31\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1004929434</td>\n",
       "      <td>\"gareshg\"</td>\n",
       "      <td>1004929434_17521</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-10 23:22:15</td>\n",
       "      <td>1580413935</td>\n",
       "      <td>\"77\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>95</th>\n",
       "      <td>95</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"فرد_مبتلا_به_کرونا_را_چطور_بشناسیم;چگونه_کرون...</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1126375906</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1126375906_21725</td>\n",
       "      <td>\"ویروس کرونا\"</td>\n",
       "      <td>\"ویروس کرونا وارد ایران شده 🔴 #چگونه_کرونا_نگی...</td>\n",
       "      <td>\"ویروس کرونا وارد ایران شده چگونه کرونا نگیریم...</td>\n",
       "      <td>1398-11-11 18:36:17</td>\n",
       "      <td>1580483177</td>\n",
       "      <td>\"810\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>96</th>\n",
       "      <td>96</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"درمان_های;فرد_مبتلا_به_کرونا_را_چطور_بشناسیم;...</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1000103430</td>\n",
       "      <td>\"bedandid\"</td>\n",
       "      <td>1000103430_85764</td>\n",
       "      <td>\"ویروس کرونا\"</td>\n",
       "      <td>\"ویروس کرونا وارد ایران شده 🔴 #چگونه_کرونا_نگی...</td>\n",
       "      <td>\"ویروس کرونا وارد ایران شده چگونه کرونا نگیریم...</td>\n",
       "      <td>1398-11-11 20:25:51</td>\n",
       "      <td>1580489751</td>\n",
       "      <td>\"15340\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>97</th>\n",
       "      <td>97</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"shirin_farhad_mag\"</td>\n",
       "      <td>1246232459</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1246232459_14738</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>\"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...</td>\n",
       "      <td>\"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...</td>\n",
       "      <td>1398-11-11 15:29:25</td>\n",
       "      <td>1580471965</td>\n",
       "      <td>\"55\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>98</th>\n",
       "      <td>98</td>\n",
       "      <td>\"1146402291_81279\"</td>\n",
       "      <td>\"درمان_های;فرد_مبتلا_به_کرونا_را_چطور_بشناسیم;...</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1415272128</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1415272128_8381</td>\n",
       "      <td>\"ویروس کرونا\"</td>\n",
       "      <td>\"ویروس کرونا وارد ایران شده 🔴 #چگونه_کرونا_نگی...</td>\n",
       "      <td>\"ویروس کرونا وارد ایران شده چگونه کرونا نگیریم...</td>\n",
       "      <td>1398-11-11 23:12:44</td>\n",
       "      <td>1580499764</td>\n",
       "      <td>\"7345\"</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99</th>\n",
       "      <td>99</td>\n",
       "      <td>\"1323133598_21273\"</td>\n",
       "      <td>\"فرد_مبتلا_به_کرونا_را_چطور_بشناسیم;چگونه_کرون...</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1134817865</td>\n",
       "      <td>\"\"</td>\n",
       "      <td>1134817865_41868</td>\n",
       "      <td>\"ویروس کرونا\"</td>\n",
       "      <td>\"ویروس کرونا وارد ایران شده 🔴 #چگونه_کرونا_نگی...</td>\n",
       "      <td>\"ویروس کرونا وارد ایران شده چگونه کرونا نگیریم...</td>\n",
       "      <td>1398-11-11 18:47:04</td>\n",
       "      <td>1580483824</td>\n",
       "      <td>\"3456\"</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>100 rows × 13 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "    Unnamed: 0          fwd_postId  \\\n",
       "0            0                  \"\"   \n",
       "1            1                  \"\"   \n",
       "2            2                  \"\"   \n",
       "3            3                  \"\"   \n",
       "4            4                  \"\"   \n",
       "..         ...                 ...   \n",
       "95          95                  \"\"   \n",
       "96          96                  \"\"   \n",
       "97          97                  \"\"   \n",
       "98          98  \"1146402291_81279\"   \n",
       "99          99  \"1323133598_21273\"   \n",
       "\n",
       "                                         hashtagField         mentionField  \\\n",
       "0                                                  \"\"                   \"\"   \n",
       "1                                                  \"\"       \"kalasar_news\"   \n",
       "2                                                  \"\"                   \"\"   \n",
       "3                                                  \"\"                   \"\"   \n",
       "4                                                  \"\"                   \"\"   \n",
       "..                                                ...                  ...   \n",
       "95  \"فرد_مبتلا_به_کرونا_را_چطور_بشناسیم;چگونه_کرون...                   \"\"   \n",
       "96  \"درمان_های;فرد_مبتلا_به_کرونا_را_چطور_بشناسیم;...                   \"\"   \n",
       "97                                                 \"\"  \"shirin_farhad_mag\"   \n",
       "98  \"درمان_های;فرد_مبتلا_به_کرونا_را_چطور_بشناسیم;...                   \"\"   \n",
       "99  \"فرد_مبتلا_به_کرونا_را_چطور_بشناسیم;چگونه_کرون...                   \"\"   \n",
       "\n",
       "       ownerId       ownerName            postId       tagField  \\\n",
       "0   1079529964  \"kisalanalbom\"  1079529964_25538             \"\"   \n",
       "1   1086067252  \"kalasar_news\"  1086067252_26025             \"\"   \n",
       "2   1377161021              \"\"   1377161021_4990             \"\"   \n",
       "3   1157337033              \"\"  1157337033_38567             \"\"   \n",
       "4   1004929434       \"gareshg\"  1004929434_17521             \"\"   \n",
       "..         ...             ...               ...            ...   \n",
       "95  1126375906              \"\"  1126375906_21725  \"ویروس کرونا\"   \n",
       "96  1000103430      \"bedandid\"  1000103430_85764  \"ویروس کرونا\"   \n",
       "97  1246232459              \"\"  1246232459_14738             \"\"   \n",
       "98  1415272128              \"\"   1415272128_8381  \"ویروس کرونا\"   \n",
       "99  1134817865              \"\"  1134817865_41868  \"ویروس کرونا\"   \n",
       "\n",
       "                                            textField  \\\n",
       "0   \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "1   \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "2   \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "3   \"😷کرونا اینجا کرونا اونجا کرونا همه جا 💉آزمایش...   \n",
       "4   \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "..                                                ...   \n",
       "95  \"ویروس کرونا وارد ایران شده 🔴 #چگونه_کرونا_نگی...   \n",
       "96  \"ویروس کرونا وارد ایران شده 🔴 #چگونه_کرونا_نگی...   \n",
       "97  \"😷کرونا اینجا کرونا اونجا کرونا همه جا. 💉آزمای...   \n",
       "98  \"ویروس کرونا وارد ایران شده 🔴 #چگونه_کرونا_نگی...   \n",
       "99  \"ویروس کرونا وارد ایران شده 🔴 #چگونه_کرونا_نگی...   \n",
       "\n",
       "                                     textField_normal          time_jalali  \\\n",
       "0   \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-11 19:34:07   \n",
       "1   \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-10 23:01:56   \n",
       "2   \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-11 11:42:46   \n",
       "3   \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-11 17:24:53   \n",
       "4   \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-10 23:22:15   \n",
       "..                                                ...                  ...   \n",
       "95  \"ویروس کرونا وارد ایران شده چگونه کرونا نگیریم...  1398-11-11 18:36:17   \n",
       "96  \"ویروس کرونا وارد ایران شده چگونه کرونا نگیریم...  1398-11-11 20:25:51   \n",
       "97  \"کرونا اینجا کرونا اونجا کرونا همه جا ازمایش و...  1398-11-11 15:29:25   \n",
       "98  \"ویروس کرونا وارد ایران شده چگونه کرونا نگیریم...  1398-11-11 23:12:44   \n",
       "99  \"ویروس کرونا وارد ایران شده چگونه کرونا نگیریم...  1398-11-11 18:47:04   \n",
       "\n",
       "     timestamp    views  \n",
       "0   1580486647     \"49\"  \n",
       "1   1580412716    \"139\"  \n",
       "2   1580458366    \"273\"  \n",
       "3   1580478893     \"31\"  \n",
       "4   1580413935     \"77\"  \n",
       "..         ...      ...  \n",
       "95  1580483177    \"810\"  \n",
       "96  1580489751  \"15340\"  \n",
       "97  1580471965     \"55\"  \n",
       "98  1580499764   \"7345\"  \n",
       "99  1580483824   \"3456\"  \n",
       "\n",
       "[100 rows x 13 columns]"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.iloc[0:100]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}