LSH_Cosine_Better_Dict.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import csv\n",
    "import random\n",
    "from sklearn.feature_extraction.text import CountVectorizer,TfidfTransformer,TfidfVectorizer\n",
    "from pyvi import ViTokenizer, ViPosTagger\n",
    "from bs4 import BeautifulSoup\n",
    "import collections\n",
    "import math\n",
    "import os\n",
    "from gensim import corpora, matutils,models\n",
    "import sys\n",
    "import codecs\n",
    "import json\n",
    "import numpy as np\n",
    "import random,time\n",
    "from sklearn import datasets\n",
    "import operator\n",
    "from scipy import sparse"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "SPECIAL_CHARACTER = '0123456789?…“”–%@$.,=+-!;/()*\"&^:#|\\n\\t\\'.{}<>[]'\n",
    "DIR_PATH='/Users/mac/Desktop/Internship/data/'\n",
    "STOP_WORDS = os.path.join(DIR_PATH,'stopwords-nlp-vi.txt')\n",
    "DICTIONARY_PATH = os.path.join(DIR_PATH,'dictionary.txt')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "class ReadData(object):\n",
    "    def __init__(self,dataPath,encoder=None):\n",
    "        self.dataPath = dataPath\n",
    "        self.encoder = encoder if encoder != None else 'utf-16le'\n",
    "        \n",
    "    def get_name_files(self):\n",
    "        class_file = os.listdir(self.dataPath)        \n",
    "        class_label=[]\n",
    "        folders=[]\n",
    "        for file in os.listdir(self.dataPath):\n",
    "            class_label.append(file)\n",
    "            folders.append(os.path.join(self.dataPath,file))\n",
    "        self.folders = folders\n",
    "        self.class_label=class_label\n",
    "        \n",
    "    def get_data(self):\n",
    "        data=[]\n",
    "        i=0\n",
    "        with open(DIR_PATH+'data_news_vcc.csv',encoding='utf-8') as csvfile:\n",
    "            e = csvfile.readline()\n",
    "            d = csv.reader(csvfile,delimiter=\",\")\n",
    "            for row in d:\n",
    "                soup = BeautifulSoup(row[4],\"html5lib\")\n",
    "                text = soup.get_text()\n",
    "                if(len(text)>20):\n",
    "                    data.append({\n",
    "                        \"newsId\":row[0],\n",
    "                        \"sourceNews\":row[1],\n",
    "                        \"tilte\":row[2],\n",
    "                        \"sapo\":row[3],\n",
    "                        \"content\":text\n",
    "                    })\n",
    "                    i=i+1\n",
    "                if i==2000:\n",
    "                    break\n",
    "            csvfile.close()\n",
    "        self.data=data\n",
    "        print(len(data))\n",
    "        return data\n",
    "    \n",
    "    def read_stopwords(self):\n",
    "        with open(self.dataPath, 'r',encoding=\"utf-8\") as f:\n",
    "            stopwords = set([w.strip().replace(' ', '_') for w in f.readlines()])\n",
    "        return stopwords\n",
    "    \n",
    "    def load_dictionary(self):\n",
    "        return corpora.Dictionary.load_from_text(self.dataPath) \n",
    "    \n",
    "class FileStore(object):\n",
    "    def __init__(self, filePath, data = None):\n",
    "        self.filePath = filePath\n",
    "        self.data = data\n",
    "\n",
    "    def store_dictionary(self, dict_words):\n",
    "        dictionary = corpora.Dictionary(dict_words)\n",
    "        dictionary.filter_extremes()\n",
    "        #dictionary.filter_extremes(no_below=20, no_above=0.3)\n",
    "        dictionary.save_as_text(self.filePath)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "class FeatureExtraction(object):\n",
    "    def __init__(self, data):\n",
    "        self.data = data\n",
    "        self.dictionary = None\n",
    "\n",
    "    def __build_dictionary(self):\n",
    "        print ('Building dictionary')\n",
    "        dict_words = []\n",
    "        i = 0\n",
    "        for text in self.data:\n",
    "            i+=1\n",
    "            #print (\"Step {} / {}\".format(i, len(self.data)))\n",
    "            words = NLP(text=text['content']).get_words_feature()\n",
    "            dict_words.append(words)\n",
    "        FileStore(filePath=DICTIONARY_PATH).store_dictionary(dict_words)\n",
    "\n",
    "    def __load_dictionary(self):\n",
    "        if self.dictionary is not None:\n",
    "            return\n",
    "        if os.path.exists(DICTIONARY_PATH) == False:\n",
    "            self.__build_dictionary()\n",
    "        self.dictionary = ReadData(DICTIONARY_PATH).load_dictionary()\n",
    "\n",
    "    def build_dataset(self):\n",
    "        self.features = []\n",
    "        self.labels = []\n",
    "        i = 0\n",
    "        for d in self.data:\n",
    "            i += 1\n",
    "            #print (\"Step {} / {}\".format(i, len(self.data)))\n",
    "            self.features.append(self.get_dense(d['content']))\n",
    "            #self.features.append((d['content']))\n",
    "            self.labels.append(d['newsId'])\n",
    "\n",
    "    def get_dense(self, text):\n",
    "        self.__load_dictionary()\n",
    "        words = NLP(text).get_words_feature()\n",
    "        # Bag of words\n",
    "        vec = self.dictionary.doc2bow(words)\n",
    "        #dense = list(matutils.corpus2dense([vec], num_terms=len(self.dictionary)).T[0])\n",
    "        self.len_dict=len(self.dictionary)\n",
    "        #model = models.TfidfModel(corpus)\n",
    "        #vector = model[corpus]\n",
    "        return vec\n",
    "\n",
    "    def get_data_and_label(self):\n",
    "        self.build_dataset()\n",
    "        model = models.TfidfModel(self.features,normalize=True)\n",
    "        self.vector = model[self.features]\n",
    "        return self.vector, self.labels,self.len_dict"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "class NLP(object):\n",
    "    def __init__(self, text = None):\n",
    "        self.text = text\n",
    "        self.__set_stopwords()\n",
    "\n",
    "    def segmentation(self):\n",
    "        return ViTokenizer.tokenize(self.text)    \n",
    "        \n",
    "    def __set_stopwords(self):\n",
    "        self.stopwords = ReadData(STOP_WORDS).read_stopwords()\n",
    "        \n",
    "    def split_words(self):\n",
    "        text = self.segmentation()\n",
    "        try:\n",
    "            return list(filter(None,[x.strip(SPECIAL_CHARACTER).lower() for x in text.split()]))\n",
    "        except TypeError:\n",
    "            return []\n",
    "        \n",
    "    def get_words_feature(self):\n",
    "        split_words = self.split_words()\n",
    "        return [word for word in split_words if word.encode('utf-8') not in self.stopwords] "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2000\n",
      "Building dictionary\n",
      "8203\n"
     ]
    }
   ],
   "source": [
    "data = ReadData(DIR_PATH).get_data()\n",
    "x_train,y_train,len_dict = FeatureExtraction(data=data).get_data_and_label()\n",
    "print(len_dict)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "tfidf_matrix=[]\n",
    "count=0\n",
    "for x in x_train:\n",
    "    row=[]\n",
    "    number=[]\n",
    "    col = np.zeros(len(x))\n",
    "    for i in range(len(x)):\n",
    "        row.append(x[i][0])\n",
    "        number.append(x[i][1])\n",
    "    A=sparse.csr_matrix((number, (row, col)), shape=(len_dict,1))\n",
    "    B = A.toarray()\n",
    "    #A = A.reshape(1,-1)\n",
    "    tfidf_matrix.append(B)\n",
    "    count+=1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(2000, 8203)\n"
     ]
    }
   ],
   "source": [
    "tfidf_matrix = np.asarray(tfidf_matrix).reshape(len(x_train),len_dict)\n",
    "print(tfidf_matrix.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "def sketch(sig,dim):\n",
    "    vector =[]\n",
    "    for i in range(sig):\n",
    "        x = np.random.randint(2,size=dim)\n",
    "        for v in range(len(x)):\n",
    "            if x[v]==0:\n",
    "                x[v]=-1\n",
    "        vector.append(x)\n",
    "    vector = np.asanyarray(vector)\n",
    "    return vector"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1.6163980960845947\n",
      "(500, 2000)\n"
     ]
    }
   ],
   "source": [
    "t = time.time()\n",
    "s = sketch(500,len_dict)\n",
    "#matrix_sig = np.dot(s,tfidf_matrix.T)\n",
    "matrix_sig = np.dot(s,tfidf_matrix.T)    \n",
    "print(time.time()-t)\n",
    "print(matrix_sig.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Chuan hoa vector\n",
    "matrix_sig_norm = np.copy(matrix_sig)\n",
    "for i in range(matrix_sig_norm.shape[1]):\n",
    "    temp = np.linalg.norm(matrix_sig_norm[:,i])\n",
    "    #print(matrix_sig_norm[:,i].shape)\n",
    "    for j in range(matrix_sig_norm.shape[0]):\n",
    "        matrix_sig_norm[j][i]/=temp "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([1., 1., 1., ..., 1., 1., 1.])"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sum(matrix_sig_norm[:,:]**2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1.0\n"
     ]
    }
   ],
   "source": [
    "# for m in matrix_sig_norm:\n",
    "#     break\n",
    "#     temp = np.linalg.norm(m)\n",
    "#     for i in range(len(matrix_sig_norm)):\n",
    "#         m[i]/=temp\n",
    "#     break\n",
    "# A=[-4, -3, -2, -1,  0,  1,  2,  3,  4]\n",
    "# temp = np.linalg.norm(A,2)\n",
    "# for i in range(len(A)):\n",
    "#     A[i]/=temp\n",
    "# print(temp)\n",
    "# s=0\n",
    "# print(A)\n",
    "# for j in range(len(A)):\n",
    "#     s+=A[j]**2\n",
    "# print(s)\n",
    "s=0\n",
    "for j in range(matrix_sig_norm.shape[0]):\n",
    "    s+=matrix_sig_norm[j][99]**2\n",
    "print(s)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "len_buckets = 101\n",
    "hash_table = [[] for i in range(len_buckets)]\n",
    "\n",
    "def initialize_array_bucket(bands):\n",
    "    global len_buckets\n",
    "    array_buckets = []\n",
    "    for band in range(bands):\n",
    "        array_buckets.append([[] for i in range(len_buckets)])\n",
    "    return array_buckets\n",
    "\n",
    "def apply_LSH_technique(matrix_sig,t,bands,rows):\n",
    "    t_s = 0\n",
    "    t_d = 0\n",
    "    if (bands*rows) != len(matrix_sig):\n",
    "        print(\"Error\")\n",
    "        return {},[]\n",
    "    else:      \n",
    "        candidates_sig = {}\n",
    "        candidates_doc = {}\n",
    "        candidates_list = {}\n",
    "        dict_item={}\n",
    "        array_buckets =initialize_array_bucket(bands)\n",
    "        i = 0\n",
    "        it = 0\n",
    "        for b in range(bands):\n",
    "            buckets = array_buckets[b]        \n",
    "            band = matrix_sig[i:i+rows,:]\n",
    "            for col in range(band.shape[1]):\n",
    "                #hash S1,S2,..,Sn to buckets\n",
    "                key = int(sum(band[:,col]) % len(buckets))            \n",
    "                buckets[key].append(col)\n",
    "            for item in buckets:\n",
    "                if len(item) > 1:\n",
    "                    # chuẩn hoá vector có độ dài =1 (Thư viện Ok)\n",
    "                    #Sau đó [a,b,c]*[a;b;c] => giảm thời gian (Ok)\n",
    "                    # Thưa hoá vector để giảm thời gian (Ok)\n",
    "                    doc_m = tfidf_matrix.T[:,item]\n",
    "                    _t = time.time()\n",
    "                    similarity_matrix_doc = doc_m.T.dot(doc_m)\n",
    "                    t_d += time.time() - _t\n",
    "                    #index_doc1 = np.argwhere((similarity_matrix_doc-np.triu(similarity_matrix_doc))>=t)   \n",
    "                    index_doc = np.argwhere(similarity_matrix_doc>=t)\n",
    "                    #print(index_doc.shape)\n",
    "#                     for i in range(index_doc.shape[0]):\n",
    "#                         if index_doc[i][0] == index_doc[i][1]:\n",
    "#                             continue\n",
    "#                         if index_doc[i][0] in dict_item.keys():\n",
    "#                             value = dict_item[index_doc[i][0]]\n",
    "#                             if index_doc[i][1] not in value.keys():\n",
    "#                                 value[index_doc[i][1]] = similarity_matrix_doc[index_doc[i][0],index_doc[i][1]]  \n",
    "#                         else:\n",
    "#                             value={}\n",
    "#                             value[index_doc[i][1]] = similarity_matrix_doc[index_doc[i][0],index_doc[i][1]]  \n",
    "#                             dict_item[index_doc[i][0]] = value\n",
    "                            \n",
    "                    for i in range(index_doc.shape[0]):\n",
    "                        if index_doc[i][0] == index_doc[i][1]:\n",
    "                            continue\n",
    "                        #print(item[index_doc[i][0]],item[index_doc[i][1]])\n",
    "                        if item[index_doc[i][0]] in dict_item.keys():\n",
    "                            value = dict_item[item[index_doc[i][0]]]\n",
    "                            if item[index_doc[i][1]] not in value.keys():\n",
    "                                value[item[index_doc[i][1]]] = similarity_matrix_doc[index_doc[i][0],index_doc[i][1]]  \n",
    "                        else:\n",
    "                            value={}\n",
    "                            value[item[index_doc[i][1]]]= similarity_matrix_doc[index_doc[i][0],index_doc[i][1]]  \n",
    "                            dict_item[item[index_doc[i][0]]] = value\n",
    "\n",
    "#                     for i in range(index_doc.shape[0]):                            \n",
    "#                         pair = (item[index_doc[i][0]],item[index_doc[i][1]])\n",
    "#                         print(\"Pair: {},{}\".format(pair[0],pair[1]))\n",
    "#                         print(similarity_matrix_doc[index[i][0],index[i][1]])\n",
    "#                         if pair not in candidates_doc:\n",
    "#                             candidates_doc[pair] = similarity_matrix_doc[index_doc[i][0],index_doc[i][1]]                   \n",
    "            i = i+rows\n",
    "        #sort_sig = sorted(candidates_sig.items(),key=operator.itemgetter(1), reverse=True)\n",
    "        #sort_doc=sort_doc = sorted(candidates_doc.items(),key=operator.itemgetter(1), reverse=True)\n",
    "        #sort_list=None\n",
    "        #sorted(candidates_list.items(),key=operator.itemgetter(1), reverse=True)\n",
    "        #print(sort)\n",
    "        print(\"t_s = %s\" % t_s)\n",
    "        print(\"t_d = %s\" % t_d)\n",
    "        print(it)\n",
    "        return dict_item\n",
    "\n",
    "def cosine_distance(v1,v2):\n",
    "    s=0;x=0;y=0\n",
    "    for i in range(len(v1)):\n",
    "        s+= v1[i]*v2[i]\n",
    "        x+= v1[i]**2\n",
    "        y+= v2[i]**2\n",
    "    x=math.sqrt(x)\n",
    "    y=math.sqrt(y)\n",
    "    cosine = s/(x*y)\n",
    "    return cosine"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "t_s = 0\n",
      "t_d = 0.8077716827392578\n",
      "0\n",
      "{144: {1135: 1.0}, 257: {626: 0.9789131306651371}, 626: {257: 0.9789131306651371}, 851: {936: 0.9670155816649704}, 936: {851: 0.9670155816649704}, 1135: {144: 1.0}, 1220: {1302: 0.998049263386743}, 1298: {1976: 0.9532449530230064}, 1302: {1220: 0.998049263386743}, 1361: {1522: 0.9924395495449743}, 1459: {1584: 0.9922937299034787}, 1522: {1361: 0.9924395495449743}, 1584: {1459: 0.9922937299034787}, 1653: {1674: 0.97524059469608}, 1674: {1653: 0.97524059469608}, 1701: {1881: 0.9990875260416507}, 1813: {1857: 0.9694043850724383}, 1857: {1813: 0.9694043850724383}, 1881: {1701: 0.9990875260416507}, 1976: {1298: 0.9532449530230064}, 93: {161: 0.9936480672503629}, 161: {93: 0.9936480672503629}, 218: {245: 0.9646681969565332, 128: 0.9620007593992215}, 245: {218: 0.9646681969565332, 128: 0.9571575271445143}, 887: {981: 0.9945148056934718}, 946: {1064: 0.9935818484134968}, 981: {887: 0.9945148056934718}, 1064: {946: 0.9935818484134968}, 1650: {1668: 0.9966350569608738}, 1668: {1650: 0.9966350569608738}, 277: {370: 0.9891320437124075, 675: 0.989484611253078}, 316: {473: 0.9985970580073941, 560: 0.9972040675851904}, 370: {277: 0.9891320437124075, 675: 0.9859886379969252}, 473: {316: 0.9985970580073941, 560: 0.9971718967726828}, 478: {867: 0.9631777547552914}, 560: {316: 0.9972040675851904, 473: 0.9971718967726828}, 675: {277: 0.989484611253078, 370: 0.9859886379969252}, 819: {1090: 0.8093313032512607}, 867: {478: 0.9631777547552914}, 1090: {819: 0.8093313032512607}, 83: {582: 0.9956511390177247}, 304: {381: 0.9998277738987905}, 368: {578: 0.917628677890414}, 381: {304: 0.9998277738987905}, 446: {1410: 0.8507095540943503, 574: 0.9976572454208172}, 578: {368: 0.917628677890414}, 582: {83: 0.9956511390177247}, 593: {837: 0.973961872480887}, 663: {736: 0.9937347721676829, 743: 0.9613278178175879}, 736: {663: 0.9937347721676829, 743: 0.9555771427143317, 411: 0.8439338691323797}, 743: {663: 0.9613278178175879, 736: 0.9555771427143317, 411: 0.8183196357301316}, 837: {593: 0.973961872480887}, 838: {913: 0.9692706820613551}, 913: {838: 0.9692706820613551}, 939: {1056: 0.9740107877956197}, 957: {1985: 0.9890110746655216}, 1003: {1251: 0.9889616438908037}, 1056: {939: 0.9740107877956197}, 1251: {1003: 0.9889616438908037}, 1410: {446: 0.8507095540943503}, 1514: {1866: 0.8395417023011764}, 1741: {1751: 0.974205225206118}, 1751: {1741: 0.974205225206118}, 1866: {1514: 0.8395417023011764}, 1985: {957: 0.9890110746655216}, 650: {683: 0.9660263187377476}, 683: {650: 0.9660263187377476}, 700: {918: 0.9975878175211019, 687: 0.9927504522996984}, 745: {824: 0.9638511428489868, 1164: 0.9769417550381108}, 779: {827: 0.9967929027296875}, 824: {745: 0.9638511428489868, 1164: 0.9755768051126332}, 827: {779: 0.9967929027296875}, 918: {700: 0.9975878175211019, 687: 0.9951077008970406}, 746: {1105: 0.9858745276244876, 768: 0.9682995547491167}, 857: {1169: 0.9968089605477986}, 1042: {1158: 0.9901853317060614}, 1070: {1317: 0.9881826090928563, 726: 0.9840056794822816}, 1105: {746: 0.9858745276244876, 768: 0.9821981549175285}, 1158: {1042: 0.9901853317060614}, 1169: {857: 0.9968089605477986}, 1317: {1070: 0.9881826090928563, 726: 0.9874821293642013}, 453: {519: 0.9702546274549593}, 519: {453: 0.9702546274549593, 1461: 0.80336465817257}, 1186: {1636: 0.9975733602409972}, 1636: {1186: 0.9975733602409972}, 204: {474: 0.9974007716802604}, 253: {319: 0.9966883060247962}, 319: {253: 0.9966883060247962}, 474: {204: 0.9974007716802604}, 1210: {1465: 0.9980794437954723}, 1465: {1210: 0.9980794437954723}, 289: {714: 0.9919452680825803}, 714: {289: 0.9919452680825803}, 1554: {1683: 0.9913041991259008}, 1683: {1554: 0.9913041991259008}, 68: {77: 0.9855846620035763}, 77: {68: 0.9855846620035763}, 422: {1192: 0.9941371377967633}, 591: {962: 0.9973373304914098}, 962: {591: 0.9973373304914098}, 1059: {1095: 0.9895261142614289}, 1095: {1059: 0.9895261142614289}, 1192: {422: 0.9941371377967633}, 1390: {1392: 0.9464005012128153}, 1392: {1390: 0.9464005012128153}, 1656: {1755: 0.9929248462594091}, 1755: {1656: 0.9929248462594091}, 193: {580: 0.9959688584391841}, 580: {193: 0.9959688584391841}, 1604: {1664: 0.9955443965960906}, 1664: {1604: 0.9955443965960906}, 229: {352: 0.8017502818073562, 1068: 0.8012610173408949, 119: 0.9852269675486676, 222: 0.9923121216489897}, 350: {413: 0.9976595102071576}, 352: {229: 0.8017502818073562, 1068: 0.9994418451950289}, 413: {350: 0.9976595102071576}, 1068: {229: 0.8012610173408949, 352: 0.9994418451950289}, 119: {222: 0.9824798241954644, 229: 0.9852269675486676}, 222: {119: 0.9824798241954644, 229: 0.9923121216489897}, 1501: {1509: 0.9876036965137905}, 1509: {1501: 0.9876036965137905}, 869: {1138: 0.9891795273290033, 1077: 0.9817846407725398}, 1138: {869: 0.9891795273290033, 1077: 0.9926687831985953}, 1092: {1849: 0.9912199950968962}, 1849: {1092: 0.9912199950968962}, 823: {1424: 0.9982225687552443}, 1424: {823: 0.9982225687552443}, 1055: {1347: 0.9913392919192545}, 1347: {1055: 0.9913392919192545}, 935: {1034: 0.9898393267439358}, 1034: {935: 0.9898393267439358}, 1071: {1171: 0.9985194913644648}, 1171: {1071: 0.9985194913644648}, 689: {1752: 0.9616234057970707}, 723: {1075: 0.9897050809268766}, 1075: {723: 0.9897050809268766}, 1752: {689: 0.9616234057970707}, 310: {382: 1.0000000000000013}, 382: {310: 1.0000000000000013}, 493: {594: 0.9722925838968779}, 594: {493: 0.9722925838968779}, 1038: {1309: 0.9971811471623935}, 1309: {1038: 0.9971811471623935}, 1576: {1684: 0.9833153420166392, 1750: 0.8320377049670573}, 1684: {1576: 0.9833153420166392, 1750: 0.8155704839737572}, 80: {220: 0.9906691730638852}, 200: {1143: 0.8498309618691574, 1066: 0.851323018598565, 1602: 0.8218051556166711, 1785: 0.8257140599760433}, 220: {80: 0.9906691730638852}, 967: {994: 1.0}, 993: {998: 0.9796277541671639}, 994: {967: 1.0}, 998: {993: 0.9796277541671639, 633: 0.9113201394006158}, 1063: {1818: 0.9715865401640504, 1346: 0.9757331707259781}, 1143: {200: 0.8498309618691574, 1066: 0.9988038823000381}, 1818: {1063: 0.9715865401640504, 1346: 0.9752701979804227}, 1868: {1890: 0.9972553742662622}, 1890: {1868: 0.9972553742662622}, 1526: {1742: 0.9651072954365778}, 1742: {1526: 0.9651072954365778}, 1894: {1930: 0.8885628764176161}, 1930: {1894: 0.8885628764176161}, 777: {1507: 0.9929245857665034, 1219: 0.9947842814223213}, 1263: {1310: 0.9999112776789169, 1338: 0.9941458273265331}, 1310: {1263: 0.9999112776789169, 1338: 0.9940579528152249}, 1338: {1263: 0.9941458273265331, 1310: 0.9940579528152249}, 1411: {1454: 0.899701958201917}, 1454: {1411: 0.899701958201917}, 1507: {777: 0.9929245857665034, 1219: 0.9981304661292874}, 1602: {1785: 0.9973059690087832, 200: 0.8218051556166711}, 1767: {1784: 0.9841787849440146, 1485: 0.8531779916239932}, 1784: {1767: 0.9841787849440146, 1485: 0.8486342278511185}, 1785: {1602: 0.9973059690087832, 200: 0.8257140599760433}, 145: {387: 0.9890935864944463, 373: 0.8680788883340858}, 305: {623: 0.9848750259279909}, 387: {145: 0.9890935864944463, 373: 0.8604957050010591}, 447: {469: 0.9991567392668022}, 469: {447: 0.9991567392668022}, 606: {649: 0.9870609129314601}, 623: {305: 0.9848750259279909}, 649: {606: 0.9870609129314601}, 970: {1001: 0.9380667249277166}, 1001: {970: 0.9380667249277166}, 1235: {1360: 0.9486620037144939}, 1360: {1235: 0.9486620037144939}, 357: {405: 0.9939776929607248}, 405: {357: 0.9939776929607248}, 897: {926: 0.9826776891735358}, 926: {897: 0.9826776891735358}, 1288: {1479: 0.9878687759420379, 1900: 0.9943477666607776}, 1479: {1288: 0.9878687759420379, 1900: 0.9897714483748556}, 1771: {1858: 0.9767336705938059}, 1803: {1883: 0.996270335431209}, 1858: {1771: 0.9767336705938059}, 1883: {1803: 0.996270335431209}, 1900: {1288: 0.9943477666607776, 1479: 0.9897714483748556}, 1972: {1982: 0.9924123441927428}, 1982: {1972: 0.9924123441927428}, 369: {431: 0.9406508976775279, 590: 0.8584916825325097, 613: 0.8742909533096117, 554: 0.8924147951608937}, 431: {369: 0.9406508976775279, 590: 0.8193612245639116}, 490: {1633: 0.9424949303391801}, 497: {829: 0.998325589218958}, 564: {760: 0.811786439064399, 486: 0.9989639271761934, 523: 0.9648583459973916}, 590: {369: 0.8584916825325097, 431: 0.8193612245639116, 613: 0.8328400945986423, 654: 0.8299384502098204, 554: 0.8659501560264826}, 760: {564: 0.811786439064399, 769: 0.9246824707800039, 523: 0.8299240538429344}, 773: {1339: 0.9960267079589995}, 829: {497: 0.998325589218958}, 1229: {1443: 0.9855430851806962}, 1256: {1362: 0.9520730697062554}, 1339: {773: 0.9960267079589995}, 1362: {1256: 0.9520730697062554}, 1443: {1229: 0.9855430851806962}, 1632: {1706: 0.9929725108715783}, 1633: {490: 0.9424949303391801}, 1695: {1823: 0.9877419493143711}, 1706: {1632: 0.9929725108715783}, 1823: {1695: 0.9877419493143711}, 203: {287: 0.9876471652818397}, 287: {203: 0.9876471652818397}, 403: {507: 0.9804751635506199}, 507: {403: 0.9804751635506199}, 766: {1278: 0.99399269392552}, 769: {760: 0.9246824707800039}, 782: {1007: 0.9838852459283227}, 1007: {782: 0.9838852459283227}, 1278: {766: 0.99399269392552}, 1778: {1873: 0.994494243336828}, 1873: {1778: 0.994494243336828}, 160: {191: 0.9816861199833004}, 191: {160: 0.9816861199833004}, 260: {365: 0.9417481895312779}, 303: {358: 0.9604375030715006}, 358: {303: 0.9604375030715006, 406: 0.821907765544837}, 365: {260: 0.9417481895312779}, 1431: {1917: 0.9917710508577197}, 1917: {1431: 0.9917710508577197}, 251: {335: 0.9398523435121607}, 335: {251: 0.9398523435121607}, 463: {566: 0.9921784227767348}, 566: {463: 0.9921784227767348}, 679: {783: 0.9911361945366356}, 768: {746: 0.9682995547491167, 1105: 0.9821981549175285}, 783: {679: 0.9911361945366356}, 634: {704: 0.9840726489739579}, 648: {708: 0.9755308435346541}, 704: {634: 0.9840726489739579}, 708: {648: 0.9755308435346541}, 1225: {1287: 0.9832392130881702}, 1287: {1225: 0.9832392130881702}, 1642: {1714: 0.9873395001018919}, 1709: {1839: 0.9959985536970797}, 1714: {1642: 0.9873395001018919}, 1800: {1810: 0.9974314426647377}, 1810: {1800: 0.9974314426647377}, 1839: {1709: 0.9959985536970797}, 809: {1578: 0.9924214527751497}, 1578: {809: 0.9924214527751497}, 71: {75: 0.9863961631602409}, 75: {71: 0.9863961631602409}, 1066: {200: 0.851323018598565, 1143: 0.9988038823000381}, 1461: {519: 0.80336465817257}, 906: {1236: 0.9885619386971783}, 1163: {1205: 0.9588548806399673}, 1205: {1163: 0.9588548806399673}, 1236: {906: 0.9885619386971783}, 1934: {1964: 0.9728421320753793}, 1964: {1934: 0.9728421320753793}, 1620: {1678: 0.8190485674034226, 1737: 0.8264615571675017}, 1678: {1620: 0.8190485674034226}, 825: {940: 0.9949286332912797}, 940: {825: 0.9949286332912797}, 989: {1432: 0.9038096056627585}, 1432: {989: 0.9038096056627585, 1600: 0.8556333045854352}, 1600: {1432: 0.8556333045854352}, 900: {982: 0.9959135814471942}, 982: {900: 0.9959135814471942}, 554: {654: 0.8817697995268348, 369: 0.8924147951608937, 590: 0.8659501560264826}, 654: {554: 0.8817697995268348, 590: 0.8299384502098204}, 1406: {1518: 0.981393274896562}, 1518: {1406: 0.981393274896562}, 404: {464: 0.9592480996812398}, 464: {404: 0.9592480996812398}, 726: {1317: 0.9874821293642013, 1070: 0.9840056794822816}, 810: {1184: 0.9899540650916834}, 1016: {1772: 0.9881595195212091}, 1077: {869: 0.9817846407725398, 1138: 0.9926687831985953}, 1184: {810: 0.9899540650916834}, 1232: {1363: 0.9864448553043189}, 1363: {1232: 0.9864448553043189}, 1409: {1776: 0.9934073992252646}, 1543: {1872: 0.9965032706939339}, 1772: {1016: 0.9881595195212091}, 1776: {1409: 0.9934073992252646}, 1872: {1543: 0.9965032706939339}, 814: {955: 0.9994123163182693}, 955: {814: 0.9994123163182693}, 999: {1495: 0.8244458849466969}, 1011: {1023: 0.9880563373027145}, 1023: {1011: 0.9880563373027145}, 1291: {1402: 0.9798910846622769}, 1346: {1818: 0.9752701979804227, 1063: 0.9757331707259781}, 1402: {1291: 0.9798910846622769}, 1495: {999: 0.8244458849466969}, 1692: {1726: 0.9709810996546171}, 1726: {1692: 0.9709810996546171}, 237: {417: 0.976501715583155}, 417: {237: 0.976501715583155}, 613: {590: 0.8328400945986423, 369: 0.8742909533096117}, 1517: {1609: 0.9884383647969911}, 1609: {1517: 0.9884383647969911}, 484: {555: 0.9796692265699334}, 486: {564: 0.9989639271761934}, 555: {484: 0.9796692265699334}, 1219: {777: 0.9947842814223213, 1507: 0.9981304661292874}, 276: {677: 0.9882783002031741}, 677: {276: 0.9882783002031741}, 1039: {1303: 0.9408038906372125, 1417: 0.9536368169023499}, 1048: {1074: 0.9962155684170573}, 1074: {1048: 0.9962155684170573}, 1303: {1039: 0.9408038906372125, 1417: 0.9864368964026564}, 1417: {1039: 0.9536368169023499, 1303: 0.9864368964026564}, 1671: {1696: 0.9910895968637403}, 1696: {1671: 0.9910895968637403}, 680: {1927: 0.8595212038020047}, 1628: {1663: 0.9767137258936371}, 1663: {1628: 0.9767137258936371}, 1750: {1576: 0.8320377049670573, 1684: 0.8155704839737572}, 1927: {680: 0.8595212038020047}, 113: {511: 0.989888859593904}, 511: {113: 0.989888859593904}, 1528: {1592: 0.9695321779955335}, 1592: {1528: 0.9695321779955335}, 1083: {1173: 0.9892013564963784}, 1173: {1083: 0.9892013564963784}, 737: {847: 0.9892623467497403}, 847: {737: 0.9892623467497403}, 787: {1046: 0.990072106234229}, 1046: {787: 0.990072106234229}, 278: {522: 0.9884662706010827}, 522: {278: 0.9884662706010827}, 687: {918: 0.9951077008970406, 700: 0.9927504522996984}, 1364: {1682: 0.9401580170863919}, 1557: {1763: 0.9793800546262675}, 1682: {1364: 0.9401580170863919}, 1763: {1557: 0.9793800546262675}, 1117: {1834: 0.9050599489235327}, 1834: {1117: 0.9050599489235327}, 1462: {1807: 0.993282392221666}, 1807: {1462: 0.993282392221666}, 95: {187: 0.9930880468309918}, 187: {95: 0.9930880468309918}, 633: {998: 0.9113201394006158}, 862: {1166: 0.975596793562258}, 1166: {862: 0.975596793562258}, 557: {752: 0.8997547355113682}, 752: {557: 0.8997547355113682}, 1185: {1228: 0.9794167885079812}, 1228: {1185: 0.9794167885079812}, 1328: {1617: 0.9667695246133123}, 1617: {1328: 0.9667695246133123}, 574: {446: 0.9976572454208172}, 670: {1735: 0.9817403079971819}, 740: {802: 0.9862875020475312}, 802: {740: 0.9862875020475312}, 1164: {745: 0.9769417550381108, 824: 0.9755768051126332}, 1444: {1615: 0.9677361209067463}, 1615: {1444: 0.9677361209067463}, 1735: {670: 0.9817403079971819}, 86: {323: 0.9928779850926562}, 323: {86: 0.9928779850926562}, 528: {1504: 0.9836867077198714}, 1401: {1746: 0.9831752033263121}, 1504: {528: 0.9836867077198714}, 1746: {1401: 0.9831752033263121}, 1026: {1152: 0.8186573973083564}, 1152: {1026: 0.8186573973083564}, 615: {706: 0.8041815429873618}, 671: {1553: 0.8921141163947117}, 706: {615: 0.8041815429873618}, 719: {1244: 0.9954091788112949}, 1244: {719: 0.9954091788112949}, 1359: {1492: 0.9914307384199328}, 1485: {1767: 0.8531779916239932, 1784: 0.8486342278511185}, 1492: {1359: 0.9914307384199328}, 1553: {671: 0.8921141163947117}, 1582: {1654: 0.9564856980971164}, 1654: {1582: 0.9564856980971164}, 97: {107: 0.9687195962761374}, 107: {97: 0.9687195962761374}, 128: {218: 0.9620007593992215, 245: 0.9571575271445143}, 1936: {1977: 0.9710675381090059}, 1977: {1936: 0.9710675381090059, 1441: 0.9344743517600518}, 1468: {1572: 0.9303199744278712}, 1572: {1468: 0.9303199744278712}, 1646: {1681: 0.9075284898276221}, 1681: {1646: 0.9075284898276221}, 1798: {1902: 0.8352309129827211}, 1902: {1798: 0.8352309129827211}, 208: {669: 0.991442018727867}, 373: {145: 0.8680788883340858, 387: 0.8604957050010591}, 669: {208: 0.991442018727867}, 1436: {1496: 0.991195479123318}, 1496: {1436: 0.991195479123318}, 910: {1234: 0.8475500335368698}, 1234: {910: 0.8475500335368698}, 440: {552: 0.9940042363112451}, 552: {440: 0.9940042363112451}, 54: {159: 0.9968123082292097}, 159: {54: 0.9968123082292097}, 411: {736: 0.8439338691323797, 743: 0.8183196357301316}, 622: {965: 0.9813912964667063}, 965: {622: 0.9813912964667063}, 1737: {1620: 0.8264615571675017}, 691: {1054: 0.9813356247383163}, 1054: {691: 0.9813356247383163}, 1577: {1608: 0.9575386920338566}, 1608: {1577: 0.9575386920338566}, 728: {775: 0.9436737715889382}, 775: {728: 0.9436737715889382}, 763: {1711: 0.8111307981140484}, 1711: {763: 0.8111307981140484}, 880: {1180: 0.9908020042462413}, 1180: {880: 0.9908020042462413}, 1441: {1977: 0.9344743517600518}, 131: {520: 0.9895398583072366}, 520: {131: 0.9895398583072366}, 826: {881: 0.9942887969847982}, 881: {826: 0.9942887969847982}, 1118: {1449: 0.964155329498881}, 1449: {1118: 0.964155329498881}, 406: {358: 0.821907765544837}, 340: {390: 0.9718589049358519}, 390: {340: 0.9718589049358519}, 284: {336: 0.9670307367148345}, 336: {284: 0.9670307367148345}, 1065: {1136: 0.9814580201577259}, 1136: {1065: 0.9814580201577259}, 587: {812: 0.8154017976704557}, 812: {587: 0.8154017976704557}, 883: {1168: 0.9753358326447963}, 1168: {883: 0.9753358326447963}, 1269: {1343: 0.975729870500055}, 1343: {1269: 0.975729870500055}, 602: {1368: 0.9734006242543354}, 1368: {602: 0.9734006242543354}, 269: {355: 0.9721105913860195}, 355: {269: 0.9721105913860195}, 980: {1144: 0.8031933241193029}, 1144: {980: 0.8031933241193029}, 1181: {1876: 0.8579792778349316}, 1876: {1181: 0.8579792778349316}, 341: {362: 0.9801908928006486}, 362: {341: 0.9801908928006486}, 523: {564: 0.9648583459973916, 760: 0.8299240538429344}, 1041: {1391: 0.9822435841775745}, 1391: {1041: 0.9822435841775745}}\n"
     ]
    }
   ],
   "source": [
    "d= apply_LSH_technique(matrix_sig,t=0.8,bands=20,rows=25)\n",
    "print(d)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "E_DOC: 185\n",
      "(1461, 519)\n",
      "E_SIG: 184\n"
     ]
    }
   ],
   "source": [
    "e_s = [e[0] for e in sort_s]\n",
    "e_d = [e[0] for e in sort_d]\n",
    "print(\"E_DOC: {}\".format(len(e_d)))\n",
    "for e in e_d:\n",
    "    if e not in e_s:\n",
    "        print(e)\n",
    "print(\"E_SIG: {}\".format(len(e_s)))\n",
    "for e in e_s:\n",
    "    if e not in e_d:\n",
    "        print(e)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "def print_doc(x1,x2):\n",
    "    print(\"{} \\n{} \\n---------------------- \\n{} \\n{}\"\n",
    "          .format(y_train[x1],data[x1][\"content\"],\n",
    "                  y_train[x2],data[x2][\"content\"]))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Tuoitre \n",
      "Đoạn video bà Trang phát ngôn \"con người không quan trọng\" khiến nhiều người bức xúc - Video: HOÀNG NĂNGNgày 5-5, lãnh đạo Ban quản lý khu kinh tế Hải Phòng, TP Hải Phòng cho biết đang xem xét bản tường trình của bà Dương Thị Thuỳ Trang - nữ tài xế đang gây bất bình trong dư luận về phát ngôn \"con người không quan trọng\" khi được đề nghị đưa nạn nhân đi bệnh viện kiểm tra sau vụ va chạm giao thông chiều 2-5.Bức xúc vì công an thiếu khách quan?Trao đổi với Tuổi Trẻ Online ngày 5-5, ông Nguyễn Công Thành - bí thư Đảng uỷ Ban quản lý khu kinh tế Hải Phòng - cho biết ngay sau khi nghe được thông tin báo chí phản ánh về vụ việc lãnh đạo ban quản lý đã nắm bắt và đề nghị bà Trang làm báo cáo tường trình.  Theo ông Thành, tập thể lãnh đạo trong ban cũng đã nghe trực tiếp tường trình của bà Trang và đang có những bước xem xét, đánh giá cụ thể.  Trong nội dung tường trình bước đầu, bà Trang cho rằng thời điểm đó chỉ đang \"tranh luận\" với công an trong yêu cầu về việc lập biên bản và các thủ tục xử lý vụ việc va chạm giao thông.  Bà Trang cho biết nhiều lý do dẫn tới những phát ngôn và cách ứng xử gây bức xúc trong dư luận như: bản thân nam sinh viên Hoàng Quang Minh (20 tuổi, sinh viên Trường đại học Hàng hải Việt Nam) đi sai làn đường trước nên dẫn đến va chạm, sau đó khi cảnh sát xuất hiện thì có \"biểu hiện\" giải quyết thiếu khách quan…  Sau cùng, bà Trang thừa nhận trong lúc tinh thần bị kích động, bức xúc, chịu nhiều tác động của những người xung quanh nên đã không kiểm soát được lời nói và cảm thấy cần rút kinh nghiệm sâu sắc về sự việc này.  Cũng theo ông Thành, do đây là vụ va chạm giao thông trên đường nên trách nhiệm làm rõ đúng sai đang được Công an quận Ngô Quyền thụ lý giải quyết theo trình tự và quy định của pháp luật.  Trước mắt tập thể lãnh đạo Ban quản lý Khu kinh tế Hải Phòng đang xem xét ở góc độ cách ứng xử, lời nói của bà Trang \"con người không quan trọng\" khi được đề nghị để đưa nạn nhân đi kiểm tra sức khỏe.  Nhận xét về cách làm việc, giao tiếp tại nơi làm việc thì lãnh đạo Ban quản lý khu kinh tế Hải Phòng cho rằng bà Trang là một chánh văn phòng Đảng uỷ chưa từng để xảy ra vấn đề gì.  Theo ông Trần Vĩnh Hoà - phó Ban quản lý khu kinh tế Hải Phòng - việc bà Trang có phát ngôn \"con người không quan trọng\" như báo chí phản ánh rõ ràng là không phù hợp với ứng xử, đạo đức của người đảng viên.  Chính vì vậy mà đơn vị yêu cầu bà Trang viết bản tường trình vụ việc và làm rõ chi tiết này. Sau đó Đảng uỷ sẽ xem xét từ nhiều phía để có hình thức xử lý đúng chuẩn, khách quan nhất.  Mở cửa xe mắng \"phủ đầu\"Theo lãnh đạo Công an phường Đổng Quốc Bình, quận Ngô Quyền thì sau khi xảy ra vụ việc phía công an phường đã làm việc đúng trách nhiệm, đúng quy trình và rất khách quan.  Theo đó, công an hướng dẫn sinh viên Minh đi khám kiểm tra vết thương trước, đồng thời nhận thấy vụ việc không quá nghiêm trọng nên đề nghị tạm thời đưa các phương tiện vào bên trong để tránh nguy cơ ùn tắc giao thông. Tuy nhiên, bà Trang tỏ rõ thái độ bất hợp tác.  \"Sau một hồi, nữ tài xế cùng mẹ lên ôtô muốn rời khỏi hiện trường. Công an phường phải đuổi theo đến điểm rẽ vào khu nhà D2 khu tập thể Đổng Quốc Bình cũ, người dân mới chặn được đầu xe bà Trang lại. Lúc này công an yêu cầu nữ tài xế đánh xe về trụ sở để xử lý vụ việc\" - một lãnh đạo công an phường cho hay.  Khi về trụ sở công an phường, ôtô để bên ngoài cổng, nữ tài xế được mời vào làm việc cung cấp thông tin về vụ tai nạn. Tuy nhiên, cuộc làm việc bất thành do bà Trang nói không đảm bảo sức khoẻ để làm việc.  Bà Trang khi phát ngôn trước mặt công an \"con người không quan trọng\" khi được đề nghị cho nạn nhân đi kiểm tra sức khỏe trước - Ảnh: TIẾN THẮNGNgày 5-5, sinh viên Hoàng Quang Minh vẫn đang được theo dõi, điều trị tại Bệnh viện Đại học Y Hải Phòng do vết thương ở chân sau vụ tai nạn. \"Sau khi xảy ra tai nạn, em bị ngã xuống đường và rất đau nhưng chị tài xế chỉ ngồi trên ôtô mở kính ra để la mắng em xối xả, bảo đi đứng kiểu gì mà đâm vào ôtô. Thấy sự việc như vậy thì nhiều người dân bất bình mới ra yêu cầu chị ấy xuống xe để xem em có bị sao không, khi xuống thì chị ấy tiếp tục mắng em thay vì hỏi thăm\" - Minh chia sẻ.Các bác sĩ của Bệnh viện Đại học Y Hải Phòng chẩn đoán Minh bị tràn dịch khớp gối nên sẽ phải điều trị một thời gian nữa trong bệnh viện.  Theo Minh thì hoàn cảnh gia đình khá khó khăn khi bố mất sớm, bản thân đang ở cùng bà nội tại huyện Cát Hải. Bình thường ngoài thời gian học thì Minh đi làm thêm để phụ giúp gia đình trang trải tiền học phí.  \"Nếu phải ở trong bệnh viện điều trị dài ngày em đang lo cả việc học lẫn công việc làm thêm sẽ bị dang dở\" - Minh nói.                   Nữ tài xế nói 'con người không quan trọng' là chánh văn phòng đảng ủy     TTO - Sau khi va chạm với xe máy của một nam sinh viên, nữ tài xế ôtô xuống xe lớn tiếng tuyên bố \"con người không quan trọng\" trước mặt công an.  \n",
      " ----------- \n",
      "Kenh14 \n",
      "Nữ chánh văn phòng với phát ngôn gây sốc: Con người không quan trọngNữ chánh văn phòng: Công an có biểu hiện thiếu khách quanNgày 6/5, lãnh đạo Ban Quản lý khu kinh tế Hải Phòng cho biết đang xem xét bản tường trình của bà Dương Thị Thuỳ Trang - nữ tài xế đang gây bất bình trong dư luận về phát ngôn \"con người không quan trọng\" khi được đề nghị đưa nạn nhân đi bệnh viện kiểm tra sau vụ va chạm giao thông chiều 2/5. Trước đó, bà Trang có 1 bản tường trình gửi Ban quản lý khu kinh tế nhưng không được chấp nhận, yêu cầu viết lại chỉ rõ nguyên nhân, các yếu tố chủ quan, khách quan dẫn đến việc bà Trang phát ngôn “con người không quan trọng”.Ông Nguyễn Công Thành - Bí thư Đảng uỷ Ban Quản lý khu kinh tế Hải Phòng cho biết: Trong nội dung tường trình bước đầu, bà Trang cho rằng thời điểm đó chỉ đang \"tranh luận\" với công an về việc lập biên bản và các thủ tục xử lý vụ việc va chạm giao thông.Bà Trang cho biết nhiều lý do dẫn tới những phát ngôn và cách ứng xử gây bức xúc trong dư luận như: bản thân nam sinh viên Hoàng Quang Minh (20 tuổi, sinh viên Trường đại học Hàng hải Việt Nam) đi sai làn đường trước nên dẫn đến va chạm, sau đó khi cảnh sát xuất hiện thì có \"biểu hiện\" giải quyết thiếu khách quan…Sau cùng, bà Trang thừa nhận trong lúc tinh thần bị kích động, bức xúc, chịu nhiều tác động của những người xung quanh nên đã không kiểm soát được lời nói và cảm thấy cần rút kinh nghiệm sâu sắc về sự việc này.Chúng tôi làm đúng, khách quanTrước ý kiến của bà Trang cho rằng công an xử lý vụ việc thiếu khách quan dẫn tới việc bà có “lỡ lời”, đại diện Công an phường Đổng Quốc Bình khẳng định: Sau khi xảy ra vụ việc, phía Công an phường đã làm việc đúng trách nhiệm, đúng quy trình và rất khách quan.Một lãnh đạo Đội CSGT (Công an quận Ngô Quyền cho biết): “Chính thái độ của bà Trang đã đẩy sự việc từ một vụ va chạm giao thông bình thường trở thành phức tạp. Khi xảy ra va chạm, công an hướng dẫn sinh viên Minh đi khám kiểm tra vết thương trước, đồng thời nhận thấy vụ việc không quá nghiêm trọng nên đề nghị tạm thời đưa các phương tiện vào bên trong để tránh nguy cơ ùn tắc giao thông. Đây là cách xử lý rất đúng luật, hợp tình, tuy nhiên bà Trang lại cho rằng “con người không quan trọng”.Một hành động khiến ngay cả những cán bộ công an cũng bức xúc là sau khi tranh cãi rồi phát ngôn như trên, nữ tài xế cùng mẹ lên ô tô rời khỏi hiện trường. Công an phường phải đuổi theo đến điểm rẽ vào khu nhà D2 khu tập thể Đổng Quốc Bình cũ, người dân mới chặn được đầu xe bà Trang lại để yêu cầu nữ tài xế đánh xe về trụ sở để xử lý vụ việc\" - một lãnh đạo công an phường Đổng Quốc Bình cho biết.Đại diện lãnh đạo Đội CSGT Ngô Quyền cho hay: “Khi về trụ sở công an phường, ô tô để bên ngoài cổng, nữ tài xế được mời vào làm việc cung cấp thông tin về vụ tai nạn. Tuy nhiên, cuộc làm việc bất thành do bà Trang nói không đảm bảo sức khoẻ để làm việc, bỏ xe lại rồi đi taxi về. Sau đó, đơn vị CSGT đã nhiều lần mời bà Trang tới làm việc nhưng bà ấy từ chối. Chúng tôi đã báo cáo vụ việc với lãnh đạo để chuyển vụ việc sang cơ quan CSĐT. Thực sự đây là vụ việc va chạm giao thông rất nhỏ, nhưng chính cách ứng xử của bà Trang đã đẩy vụ việc thành phức tạp”.\n"
     ]
    }
   ],
   "source": [
    "print_doc(1461, 519)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [],
   "source": [
    "item = np.random.randint(10,size=10)\n",
    "similarity_matrix_doc =np.array([[1,0.77,0.49,0.89,0.52],[0.77,1,0,0.64,0.14],\n",
    "                                 [0.49, 0,1,0.55,0.88], [0.89,0.64,0.55,1,0.68],\n",
    "                                 [0.52,0.14,0.88,0.68,1]])\n",
    "#index_doc=np.argwhere(similarity_matrix_doc>=-0.4)\n",
    "index_doc = np.argwhere((similarity_matrix_doc-np.triu(similarity_matrix_doc))>=0.3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[1.   0.77 0.49 0.89 0.52]\n",
      " [0.77 1.   0.   0.64 0.14]\n",
      " [0.49 0.   1.   0.55 0.88]\n",
      " [0.89 0.64 0.55 1.   0.68]\n",
      " [0.52 0.14 0.88 0.68 1.  ]]\n",
      "[[1 0]\n",
      " [2 0]\n",
      " [3 0]\n",
      " [3 1]\n",
      " [3 2]\n",
      " [4 0]\n",
      " [4 2]\n",
      " [4 3]]\n"
     ]
    }
   ],
   "source": [
    "print(similarity_matrix_doc)\n",
    "print(index_doc)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {},
   "outputs": [],
   "source": [
    "dict_item={}\n",
    "for i in range(index_doc.shape[0]):\n",
    "    if index_doc[i][0] == index_doc[i][1]:\n",
    "        continue\n",
    "    if index_doc[i][0] in dict_item.keys():\n",
    "        value = dict_item[index_doc[i][0]]\n",
    "        if index_doc[i][1] not in value.keys():\n",
    "            value[index_doc[i][1]] = similarity_matrix_doc[index_doc[i][0],index_doc[i][1]]  \n",
    "    else:\n",
    "        value={}\n",
    "        value[index_doc[i][1]] = similarity_matrix_doc[index_doc[i][0],index_doc[i][1]]  \n",
    "        dict_item[index_doc[i][0]] = value\n",
    "        \n",
    "    if index_doc[i][1] in dict_item.keys():\n",
    "        value = dict_item[index_doc[i][1]]\n",
    "        if index_doc[i][0] not in value.keys():\n",
    "            value[index_doc[i][0]] = similarity_matrix_doc[index_doc[i][0],index_doc[i][1]]  \n",
    "    else:\n",
    "        value={}\n",
    "        value[index_doc[i][0]] = similarity_matrix_doc[index_doc[i][0],index_doc[i][1]]  \n",
    "        dict_item[index_doc[i][1]] = value"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{1: {0: 0.77, 3: 0.64}, 0: {1: 0.77, 2: 0.49, 3: 0.89, 4: 0.52}, 2: {0: 0.49, 3: 0.55, 4: 0.88}, 3: {0: 0.89, 1: 0.64, 2: 0.55, 4: 0.68}, 4: {0: 0.52, 2: 0.88, 3: 0.68}}\n"
     ]
    }
   ],
   "source": [
    "print(dict_item)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {},
   "outputs": [],
   "source": [
    "#sorted_x = sorted(dict_item.items(), key=operator.itemgetter(1))\n",
    "s=sorted(dict_item.keys())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0"
      ]
     },
     "execution_count": 67,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 110,
   "metadata": {},
   "outputs": [],
   "source": [
    "for k in dict_item.keys():\n",
    "    #dict_item[k] =OrderedDict(sorted(dict_item[k].items(), key=lambda x: x[1],reverse=True))\n",
    "    dict_item[k] =sorted(dict_item[k].items(), key=lambda x: x[1],reverse=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 111,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "dict"
      ]
     },
     "execution_count": 111,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(dict_item)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 92,
   "metadata": {},
   "outputs": [],
   "source": [
    "from collections import OrderedDict\n",
    "from operator import itemgetter\n",
    "d = OrderedDict(sorted(dict_item[0].items(), key=lambda x: x[1],reverse=True))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 103,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "OrderedDict([(3, 0.89), (1, 0.77), (4, 0.52), (2, 0.49)])\n"
     ]
    }
   ],
   "source": [
    "print(d)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 116,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1"
      ]
     },
     "execution_count": 116,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dict_item[0][1][0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}