31 Python Sklearn Text-classificatin - sentment analysis.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "from pandas import DataFrame\n",
    "import mysql.connector\n",
    "from mysql.connector import errorcode, connect\n",
    "import re\n",
    "from nltk.tokenize import word_tokenize\n",
    "from nltk.stem.isri import ISRIStemmer\n",
    "import itertools\n",
    "import sklearn\n",
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "from sklearn import cross_validation\n",
    "from sklearn.metrics import classification_report\n",
    "from sklearn.naive_bayes import MultinomialNB, GaussianNB, BernoulliNB\n",
    "from sklearn.linear_model import LogisticRegression, SGDClassifier\n",
    "from sklearn.svm import SVC, LinearSVC, NuSVC"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def connectMysql():\n",
    "    try:\n",
    "        cnn = connect(\n",
    "            user='root', \n",
    "            password='root', \n",
    "            host='localhost', \n",
    "            database='test',\n",
    "            unix_socket='/Applications/MAMP/tmp/mysql/mysql.sock')\n",
    "        return cnn\n",
    "    except mysql.connector.Error as e:\n",
    "        if e.errno == errorcode.ER_ACCESS_DENIED_ERROR:\n",
    "            print (\"Access denied!\")\n",
    "        elif e.errno == errorcode.ER_BAD_DB_ERROR:\n",
    "            print (\"Database does not exist.\")\n",
    "        else:\n",
    "            print (e)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def getData(sql):\n",
    "    cnn = connectMysql()\n",
    "    cursor = cnn.cursor()\n",
    "    cursor.execute(sql)\n",
    "    reviews = DataFrame(cursor.fetchall())\n",
    "    reviews.rename(columns={0:'text', 1:'label'}, inplace=True)\n",
    "    cursor.close()\n",
    "    cnn.close()\n",
    "    return reviews"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "8340"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sql =\"SELECT * FROM `REVIEWS`\"\n",
    "reviews = getData(sql)\n",
    "len(reviews)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>اولا: المنيو تغير الشورما اصبحت اعتياديه بأختف...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>من محلات الشاورما ذات الشعبيه لتميز الصلصات ال...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>دجاج طازج يحضر امامك على الطلب لا يقوم باعدة ا...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>فكما تعرف أستراليا بالكنغر والكوالا. فإنها تعر...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>إسمحو لي أن أقيم مطعم هاشم بصفتي فلسطيني عشت ف...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>دعاية المطعم وسمعته أكبر بكثير من مستوى وجباته...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>انا من 5 سنوات كنت اكل فيه \\n كان طعم هاشم الم...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>مقبول واسعاره جيدة  \\n بالنسبة للفلافل والحمص ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>جربت نوع محشي فلفل ماعجبني مررة كان نيئ</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>المطعم. رائع  والأكل نظيف وش هالحسد اللهم يا  ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>اثناء طلب الوجبه من المحاسب لا يوجد تنظيم  ويت...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>الحمص البيروتي والمسبحة وغيرها من الأصناف كانو...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>ولا اروع من الفلافل و الحمص شئ خيالي</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>لطالما تقل الخيارات العربية في الدول الغير عرب...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>هذا المطعم يقدم وجبات مغربية وعربية. المكان مر...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>أنا شخصياً أحب مطاعم كنتاكي KFC \\n خاصةً في ال...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>المطعم جميل و أجواء جلساته لطيفة مكان جميل لتج...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>قمت اليوم بزياره لهذا المطعم طلبي تيك اوي    ا...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>فطووور رائئئئئئع</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>مطعم ابوجبارة فروعه شارع المدينة المنورة شارع ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>السلام عليكم \\n  \\n قد يكون المسندوتش حلو المذ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>الميزات : \\n 1/النظافة . \\n 2/طريقة مختلفة عن ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>المميزات: \\n  \\n + مطعم لديه ضمير و شجاعة يمنع...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>حاولت أجرب أغلب الأنواع اللي عندهم مره وحده عش...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>للأسف الشديد أن فرع بريدة سيء وخصوصا النظافة ....</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>أهم ما يميز المطعم عن غيره من مطاعم الوجبات ال...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>ممكن كلامي ماراح يعجب البعض . لكن هذا المطعم خ...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>برجر فيول أكتسب شعبية كبيرة عند أهالي مدينة ال...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>كنت أطلب من عنده BMT وكان طعمها جدًا رائع، لكن...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>صراحه افضل مطعم بالنسبه لي من ناحيه الاسعار  \\...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8310</th>\n",
       "      <td>بصراحه طعممممم وانصح بيه</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8311</th>\n",
       "      <td>العمل في النهار فقط</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8312</th>\n",
       "      <td>شوربة وتقاطيع كويس</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8313</th>\n",
       "      <td>لذيذ ونظيفً ويرفع راسك عند ضيوفك  بس المظغوط م...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8314</th>\n",
       "      <td>للأسف تم اقفال المطبخ والآن ليس له فرع آخر</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8315</th>\n",
       "      <td>جدا لذيذ واسعارة جدا رخيصه  025360168  جربووة ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8316</th>\n",
       "      <td>بصراحة الطعم فناااااااااااااااان مرة  \\n  \\n ك...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8317</th>\n",
       "      <td>رحته وحده مرة مع خطيبي .. طلبت ايدام دجاج ماعج...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8318</th>\n",
       "      <td>المطعم جديد ,ديكوراته جميله ,اكلهم جيد ونظيف ,...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8319</th>\n",
       "      <td>بصراحة جربتو من كم يوم! \\n  \\n اطباق رائعة، وط...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8320</th>\n",
       "      <td>مطعم اكله لذيذ هاادي الخدمه سريعه رومنسي لدرجة...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8321</th>\n",
       "      <td>زرت المطعم اليوم بتاريخ 1435/10/13 \\n فرع الشر...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8322</th>\n",
       "      <td>أول ما لفت إنتباهي هو الأسعار و جودة الوجبة ال...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8323</th>\n",
       "      <td>يوجد في الدورالثالث في سوق ذي المجاز مطعم جو ع...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8324</th>\n",
       "      <td>يتميز بالرز البرياني - لحم - دجاج \\n  \\n طعم ر...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8325</th>\n",
       "      <td>يحتوي على  أشهى و ألذ الأطباق  \\n مطعم مزدحم د...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8326</th>\n",
       "      <td>بصراحة الطعم رهيييييييييييب \\n  \\n  \\n تحس بنك...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8327</th>\n",
       "      <td>حاليا تم تجربة كباب ونقانق وكانت كويسه</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8328</th>\n",
       "      <td>المطعم وهمي على ما يبدو</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8329</th>\n",
       "      <td>مغلق منذ  سنة نظراً لخطورته على صحة المجتمع  ع...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8330</th>\n",
       "      <td>المطعم جيد جداً لكنه صغير جدا لدرجة اقتصار خدم...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8331</th>\n",
       "      <td>صراحة اكثر من روعة المطعم من ناحية الجودة الخد...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8332</th>\n",
       "      <td>المكان المناسب لمن يبحث عن الطعم اللذيذ و الطع...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8333</th>\n",
       "      <td>يا لبا هل مطعم جناااااان</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8334</th>\n",
       "      <td>هذا المطعم من افضل المطاعم بالمنطقة الجنوبية ب...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8335</th>\n",
       "      <td>أتمنى تعملو بطاقات خاصة أو ذهبية للعملاء الدائ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8336</th>\n",
       "      <td>المشويات عندهم اطيب مشويات اكلتها بحياتي والاس...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8337</th>\n",
       "      <td>المطعم ممتاز للغايه ، من ناحيه تجهيزات المطعم ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8338</th>\n",
       "      <td>جينا عندهم الساعة 10 بالليل مافى احد اتبرع يشو...</td>\n",
       "      <td>-1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8339</th>\n",
       "      <td>اذا كان اللي بالشارع التجاري اوووه ماشاء الله ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>8340 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   text  label\n",
       "0     اولا: المنيو تغير الشورما اصبحت اعتياديه بأختف...     -1\n",
       "1     من محلات الشاورما ذات الشعبيه لتميز الصلصات ال...     -1\n",
       "2     دجاج طازج يحضر امامك على الطلب لا يقوم باعدة ا...      1\n",
       "3     فكما تعرف أستراليا بالكنغر والكوالا. فإنها تعر...      1\n",
       "4     إسمحو لي أن أقيم مطعم هاشم بصفتي فلسطيني عشت ف...     -1\n",
       "5     دعاية المطعم وسمعته أكبر بكثير من مستوى وجباته...     -1\n",
       "6     انا من 5 سنوات كنت اكل فيه \\n كان طعم هاشم الم...     -1\n",
       "7     مقبول واسعاره جيدة  \\n بالنسبة للفلافل والحمص ...      1\n",
       "8               جربت نوع محشي فلفل ماعجبني مررة كان نيئ     -1\n",
       "9     المطعم. رائع  والأكل نظيف وش هالحسد اللهم يا  ...      1\n",
       "10    اثناء طلب الوجبه من المحاسب لا يوجد تنظيم  ويت...     -1\n",
       "11    الحمص البيروتي والمسبحة وغيرها من الأصناف كانو...     -1\n",
       "12                 ولا اروع من الفلافل و الحمص شئ خيالي      1\n",
       "13    لطالما تقل الخيارات العربية في الدول الغير عرب...      1\n",
       "14    هذا المطعم يقدم وجبات مغربية وعربية. المكان مر...      1\n",
       "15    أنا شخصياً أحب مطاعم كنتاكي KFC \\n خاصةً في ال...      1\n",
       "16    المطعم جميل و أجواء جلساته لطيفة مكان جميل لتج...      1\n",
       "17    قمت اليوم بزياره لهذا المطعم طلبي تيك اوي    ا...     -1\n",
       "18                                     فطووور رائئئئئئع      1\n",
       "19    مطعم ابوجبارة فروعه شارع المدينة المنورة شارع ...      1\n",
       "20    السلام عليكم \\n  \\n قد يكون المسندوتش حلو المذ...      1\n",
       "21    الميزات : \\n 1/النظافة . \\n 2/طريقة مختلفة عن ...      1\n",
       "22    المميزات: \\n  \\n + مطعم لديه ضمير و شجاعة يمنع...     -1\n",
       "23    حاولت أجرب أغلب الأنواع اللي عندهم مره وحده عش...      1\n",
       "24    للأسف الشديد أن فرع بريدة سيء وخصوصا النظافة ....      1\n",
       "25    أهم ما يميز المطعم عن غيره من مطاعم الوجبات ال...      1\n",
       "26    ممكن كلامي ماراح يعجب البعض . لكن هذا المطعم خ...     -1\n",
       "27    برجر فيول أكتسب شعبية كبيرة عند أهالي مدينة ال...      1\n",
       "28    كنت أطلب من عنده BMT وكان طعمها جدًا رائع، لكن...      1\n",
       "29    صراحه افضل مطعم بالنسبه لي من ناحيه الاسعار  \\...      1\n",
       "...                                                 ...    ...\n",
       "8310                           بصراحه طعممممم وانصح بيه      1\n",
       "8311                                العمل في النهار فقط      1\n",
       "8312                                 شوربة وتقاطيع كويس     -1\n",
       "8313  لذيذ ونظيفً ويرفع راسك عند ضيوفك  بس المظغوط م...      1\n",
       "8314         للأسف تم اقفال المطبخ والآن ليس له فرع آخر      1\n",
       "8315  جدا لذيذ واسعارة جدا رخيصه  025360168  جربووة ...      1\n",
       "8316  بصراحة الطعم فناااااااااااااااان مرة  \\n  \\n ك...      1\n",
       "8317  رحته وحده مرة مع خطيبي .. طلبت ايدام دجاج ماعج...      1\n",
       "8318  المطعم جديد ,ديكوراته جميله ,اكلهم جيد ونظيف ,...      1\n",
       "8319  بصراحة جربتو من كم يوم! \\n  \\n اطباق رائعة، وط...      1\n",
       "8320  مطعم اكله لذيذ هاادي الخدمه سريعه رومنسي لدرجة...      1\n",
       "8321  زرت المطعم اليوم بتاريخ 1435/10/13 \\n فرع الشر...      1\n",
       "8322  أول ما لفت إنتباهي هو الأسعار و جودة الوجبة ال...      1\n",
       "8323  يوجد في الدورالثالث في سوق ذي المجاز مطعم جو ع...      1\n",
       "8324  يتميز بالرز البرياني - لحم - دجاج \\n  \\n طعم ر...      1\n",
       "8325  يحتوي على  أشهى و ألذ الأطباق  \\n مطعم مزدحم د...      1\n",
       "8326  بصراحة الطعم رهيييييييييييب \\n  \\n  \\n تحس بنك...      1\n",
       "8327             حاليا تم تجربة كباب ونقانق وكانت كويسه      1\n",
       "8328                            المطعم وهمي على ما يبدو     -1\n",
       "8329  مغلق منذ  سنة نظراً لخطورته على صحة المجتمع  ع...     -1\n",
       "8330  المطعم جيد جداً لكنه صغير جدا لدرجة اقتصار خدم...     -1\n",
       "8331  صراحة اكثر من روعة المطعم من ناحية الجودة الخد...      1\n",
       "8332  المكان المناسب لمن يبحث عن الطعم اللذيذ و الطع...      1\n",
       "8333                           يا لبا هل مطعم جناااااان      1\n",
       "8334  هذا المطعم من افضل المطاعم بالمنطقة الجنوبية ب...      1\n",
       "8335  أتمنى تعملو بطاقات خاصة أو ذهبية للعملاء الدائ...      1\n",
       "8336  المشويات عندهم اطيب مشويات اكلتها بحياتي والاس...      1\n",
       "8337  المطعم ممتاز للغايه ، من ناحيه تجهيزات المطعم ...      1\n",
       "8338  جينا عندهم الساعة 10 بالليل مافى احد اتبرع يشو...     -1\n",
       "8339  اذا كان اللي بالشارع التجاري اوووه ماشاء الله ...      1\n",
       "\n",
       "[8340 rows x 2 columns]"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "reviews"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Preprocessing"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def noramlize(text):\n",
    "    text = re.sub(r\"[إأٱآا]\", \"ا\", text)\n",
    "    text = re.sub(r\"ى\", \"ي\", text)\n",
    "    text = re.sub(r\"ؤ\", \"ء\", text)\n",
    "    text = re.sub(r\"ئ\", \"ء\", text)\n",
    "    text = re.sub(r'[^ا-ي ]', \"\", text)\n",
    "\n",
    "    noise = re.compile(\"\"\" ّ    | # Tashdid\n",
    "                             َ    | # Fatha\n",
    "                             ً    | # Tanwin Fath\n",
    "                             ُ    | # Damma\n",
    "                             ٌ    | # Tanwin Damm\n",
    "                             ِ    | # Kasra\n",
    "                             ٍ    | # Tanwin Kasr\n",
    "                             ْ    | # Sukun\n",
    "                             ـ     # Tatwil/Kashida\n",
    "                         \"\"\", re.VERBOSE)\n",
    "    text = re.sub(noise, '', text)\n",
    "    return text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Normalize Arabic Text @ http://maximromanov.github.io/2013/01-02.html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def stopWordRmove(text):\n",
    "    ar_stop_list = open(\"ar_stop_word_list.txt\", \"r\")\n",
    "    stop_words = ar_stop_list.read().split('\\n')\n",
    "    needed_words = []\n",
    "    words = word_tokenize(text)\n",
    "    for w in words:\n",
    "        if w not in (stop_words):\n",
    "            needed_words.append(w)\n",
    "    filtered_sentence = \" \".join(needed_words)\n",
    "    return filtered_sentence"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Stemming ISRIStemmer @ http://www.nltk.org/_modules/nltk/stem/isri.html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def stemming(text):\n",
    "    st = ISRIStemmer()\n",
    "    stemmed_words = []\n",
    "    words = word_tokenize(text)\n",
    "    for w in words:\n",
    "        stemmed_words.append(st.stem(w))\n",
    "    stemmed_sentence = \" \".join(stemmed_words)\n",
    "    return stemmed_sentence"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def prepareDataSets(reviews):\n",
    "    sentences = []\n",
    "    for index, r in reviews.iterrows():\n",
    "        text = stopWordRmove(r['text'])\n",
    "        text = noramlize(r['text'])\n",
    "        text = stemming(r['text'])\n",
    "        \n",
    "        if r['label'] == -1:\n",
    "            sentences.append([text, 'neg'])\n",
    "        else:\n",
    "            sentences.append([text, 'pos'])\n",
    "    df_sentences = DataFrame(sentences, columns=['text', 'label'])\n",
    "    return df_sentences"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "preprocessed_reviews = prepareDataSets(reviews)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>اول : نيو تغر شور صبح اعتياديه أختفاء صلص خير ...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>من محل شور ذات شعب تمز صلص قدم عها يمكن خير شو...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>دجج طزج حضر ممك على طلب لا يقم بعد تسخ تخذ بشر...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>فكم عرف رال كنغر كلا . فإن عرف ايض أكل مثل فيج...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>محو لي ان اقم طعم هشم بصف لسط عشت في ارد 24 عا...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>دعي طعم سمع كبر كثر من ستى وجب . جرب وكن عقد ا...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>انا من 5 سنو كنت اكل فيه كان طعم هشم ميز فول ح...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>قبل سعر جيد نسب لفل حمص فول يجي ابو جبر رتب ول...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>جرب نوع حشي لفل اعجب ررة كان نيئ</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>طعم . رئع اكل نظف وش هالحسد لهم يا كفي الل قعد...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>ثنء طلب وجب من حسب لا وجد نظم يتم قدم شخص عن ا...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>حمص يرو سبح وغر من صنف كان واوووووو لفل حلو بس...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>ولا ارع من لفل و حمص شئ خيل</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>لطل تقل خير عرب في دول غير عرب . في رال قلل ما...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>هذا طعم قدم وجب غرب عرب . كان ريح جدا ديكور رئ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>انا شخص احب طعم كنت KFC خصة في ارد حيث انه تمز...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>طعم جمل و جوء جلس لطف كان جمل جمع فية مع صدقاء...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>قمت اليوم زير لهذا طعم طلب تيك اوي جلس حله ديك...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>طووور رائئئئئئع</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>طعم ابوجبارة فرع شرع دين نور شرع مكة قبل جمع ج...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>سلم علي قد يكون مسندوتش حلو ذاق فسد بعض اضف ، ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>ميز : 1/النظافة . 2/طريق خلف عن طعم خرى وذل با...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>ميز : + طعم لده ضمر و شجع منع تدخ دخل طعم ، عك...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>حول جرب غلب واع الل عند مره وحد عشن عرف هم تمم...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>اسف شدد ان فرع برد سيء خصص نظف ... تخل حسب صري...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>اهم ما يمز طعم عن غير من طعم وجب سرع هو انك خا...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>مكن كلم ارح عجب بعض . لكن هذا طعم خطر على صحة ...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>رجر فيل كسب شعب كبر عند هلي دين خبر .. طعم في ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>كنت طلب من عند BMT وكان طعم جدا رائع، لكن حين ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>صرح فضل طعم نسب لي من نحي سعر و طعم ديش p : و ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8310</th>\n",
       "      <td>صرح طعممممم نصح بيه</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8311</th>\n",
       "      <td>عمل في نهر فقط</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8312</th>\n",
       "      <td>شورب قطع كوس</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8313</th>\n",
       "      <td>لذذ نظف رفع رسك عند ضيف بس ظغط ما زبطو</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8314</th>\n",
       "      <td>اسف تم قفل طبخ ولآ ليس له فرع اخر</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8315</th>\n",
       "      <td>جدا لذذ سعر جدا رخص 025360168 جربوو احد زار وذ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8316</th>\n",
       "      <td>صرح طعم فنااااااااااااااا مرة كأن عزم عزم ( يع...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8317</th>\n",
       "      <td>رحت وحد مرة مع خطب .. طلب يدم دجج اعجب طلب رز ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8318</th>\n",
       "      <td>طعم جدد , ديكوراته جمل , اكل جيد نظف , خدم ميز...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8319</th>\n",
       "      <td>صرح جربتو من كم يوم ! طبق رائعة، طعم ذيذ، و خص...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8320</th>\n",
       "      <td>طعم اكل لذذ هاد خدم سرع رومنس درج عمى ضااء معد...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8321</th>\n",
       "      <td>زرت طعم اليوم ارخ 1435/10/13 فرع شرع بمك عندم ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8322</th>\n",
       "      <td>اول ما لفت نبه هو سعر و جود وجب مقدمة، اشء الل...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8323</th>\n",
       "      <td>وجد في دورالثالث في سوق ذي جاز طعم جو عئل دلز ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8324</th>\n",
       "      <td>تمز لرز برا - لحم - دجج طعم رئع لذذ ( اسم على ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8325</th>\n",
       "      <td>حوي على شهى و الذ طبق طعم زدحم دائ سحق ربع على...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8326</th>\n",
       "      <td>صرح طعم رهيييييييييييب تحس بنك اكل جوي فعل كنه...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8327</th>\n",
       "      <td>حال تم جرب كبب قنق وكانت كوس</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8328</th>\n",
       "      <td>طعم وهم على ما بدو</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8329</th>\n",
       "      <td>غلق منذ سنة نظر خطر على صحة جمع عمل يمن كان يض...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8330</th>\n",
       "      <td>طعم جيد جدا لكن صغر جدا درج قصر خدم على الـ &amp; ...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8331</th>\n",
       "      <td>صرح كثر من روع طعم من نحي جود خدم قبل نظف نقص ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8332</th>\n",
       "      <td>كان نسب لمن بحث عن طعم لذذ و طعم فيد و سعر فرد...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8333</th>\n",
       "      <td>يا لبا هل طعم جنا</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8334</th>\n",
       "      <td>هذا طعم من فضل طعم نطق جنب بل وبلمملكة ونا من ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8335</th>\n",
       "      <td>منى عملو بطق خصة او ذهب عملاء دئم يكون لهم وضع...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8336</th>\n",
       "      <td>شوي عند اطب شوي اكل بحا قبل مرة حلو نظافةةةةةة...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8337</th>\n",
       "      <td>طعم متز غيه ، من نحي جهز طعم ، ويض من نحي أكل ...</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8338</th>\n",
       "      <td>جين عند سعة 10 ليل افى احد برع شوفل طال فضي جل...</td>\n",
       "      <td>neg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8339</th>\n",
       "      <td>اذا كان الل شرع جري اوو اشء الل ولل انه خبل</td>\n",
       "      <td>pos</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>8340 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   text label\n",
       "0     اول : نيو تغر شور صبح اعتياديه أختفاء صلص خير ...   neg\n",
       "1     من محل شور ذات شعب تمز صلص قدم عها يمكن خير شو...   neg\n",
       "2     دجج طزج حضر ممك على طلب لا يقم بعد تسخ تخذ بشر...   pos\n",
       "3     فكم عرف رال كنغر كلا . فإن عرف ايض أكل مثل فيج...   pos\n",
       "4     محو لي ان اقم طعم هشم بصف لسط عشت في ارد 24 عا...   neg\n",
       "5     دعي طعم سمع كبر كثر من ستى وجب . جرب وكن عقد ا...   neg\n",
       "6     انا من 5 سنو كنت اكل فيه كان طعم هشم ميز فول ح...   neg\n",
       "7     قبل سعر جيد نسب لفل حمص فول يجي ابو جبر رتب ول...   pos\n",
       "8                      جرب نوع حشي لفل اعجب ررة كان نيئ   neg\n",
       "9     طعم . رئع اكل نظف وش هالحسد لهم يا كفي الل قعد...   pos\n",
       "10    ثنء طلب وجب من حسب لا وجد نظم يتم قدم شخص عن ا...   neg\n",
       "11    حمص يرو سبح وغر من صنف كان واوووووو لفل حلو بس...   neg\n",
       "12                          ولا ارع من لفل و حمص شئ خيل   pos\n",
       "13    لطل تقل خير عرب في دول غير عرب . في رال قلل ما...   pos\n",
       "14    هذا طعم قدم وجب غرب عرب . كان ريح جدا ديكور رئ...   pos\n",
       "15    انا شخص احب طعم كنت KFC خصة في ارد حيث انه تمز...   pos\n",
       "16    طعم جمل و جوء جلس لطف كان جمل جمع فية مع صدقاء...   pos\n",
       "17    قمت اليوم زير لهذا طعم طلب تيك اوي جلس حله ديك...   neg\n",
       "18                                      طووور رائئئئئئع   pos\n",
       "19    طعم ابوجبارة فرع شرع دين نور شرع مكة قبل جمع ج...   pos\n",
       "20    سلم علي قد يكون مسندوتش حلو ذاق فسد بعض اضف ، ...   pos\n",
       "21    ميز : 1/النظافة . 2/طريق خلف عن طعم خرى وذل با...   pos\n",
       "22    ميز : + طعم لده ضمر و شجع منع تدخ دخل طعم ، عك...   neg\n",
       "23    حول جرب غلب واع الل عند مره وحد عشن عرف هم تمم...   pos\n",
       "24    اسف شدد ان فرع برد سيء خصص نظف ... تخل حسب صري...   pos\n",
       "25    اهم ما يمز طعم عن غير من طعم وجب سرع هو انك خا...   pos\n",
       "26    مكن كلم ارح عجب بعض . لكن هذا طعم خطر على صحة ...   neg\n",
       "27    رجر فيل كسب شعب كبر عند هلي دين خبر .. طعم في ...   pos\n",
       "28    كنت طلب من عند BMT وكان طعم جدا رائع، لكن حين ...   pos\n",
       "29    صرح فضل طعم نسب لي من نحي سعر و طعم ديش p : و ...   pos\n",
       "...                                                 ...   ...\n",
       "8310                                صرح طعممممم نصح بيه   pos\n",
       "8311                                     عمل في نهر فقط   pos\n",
       "8312                                       شورب قطع كوس   neg\n",
       "8313             لذذ نظف رفع رسك عند ضيف بس ظغط ما زبطو   pos\n",
       "8314                  اسف تم قفل طبخ ولآ ليس له فرع اخر   pos\n",
       "8315  جدا لذذ سعر جدا رخص 025360168 جربوو احد زار وذ...   pos\n",
       "8316  صرح طعم فنااااااااااااااا مرة كأن عزم عزم ( يع...   pos\n",
       "8317  رحت وحد مرة مع خطب .. طلب يدم دجج اعجب طلب رز ...   pos\n",
       "8318  طعم جدد , ديكوراته جمل , اكل جيد نظف , خدم ميز...   pos\n",
       "8319  صرح جربتو من كم يوم ! طبق رائعة، طعم ذيذ، و خص...   pos\n",
       "8320  طعم اكل لذذ هاد خدم سرع رومنس درج عمى ضااء معد...   pos\n",
       "8321  زرت طعم اليوم ارخ 1435/10/13 فرع شرع بمك عندم ...   pos\n",
       "8322  اول ما لفت نبه هو سعر و جود وجب مقدمة، اشء الل...   pos\n",
       "8323  وجد في دورالثالث في سوق ذي جاز طعم جو عئل دلز ...   pos\n",
       "8324  تمز لرز برا - لحم - دجج طعم رئع لذذ ( اسم على ...   pos\n",
       "8325  حوي على شهى و الذ طبق طعم زدحم دائ سحق ربع على...   pos\n",
       "8326  صرح طعم رهيييييييييييب تحس بنك اكل جوي فعل كنه...   pos\n",
       "8327                       حال تم جرب كبب قنق وكانت كوس   pos\n",
       "8328                                 طعم وهم على ما بدو   neg\n",
       "8329  غلق منذ سنة نظر خطر على صحة جمع عمل يمن كان يض...   neg\n",
       "8330  طعم جيد جدا لكن صغر جدا درج قصر خدم على الـ & ...   neg\n",
       "8331  صرح كثر من روع طعم من نحي جود خدم قبل نظف نقص ...   pos\n",
       "8332  كان نسب لمن بحث عن طعم لذذ و طعم فيد و سعر فرد...   pos\n",
       "8333                                  يا لبا هل طعم جنا   pos\n",
       "8334  هذا طعم من فضل طعم نطق جنب بل وبلمملكة ونا من ...   pos\n",
       "8335  منى عملو بطق خصة او ذهب عملاء دئم يكون لهم وضع...   pos\n",
       "8336  شوي عند اطب شوي اكل بحا قبل مرة حلو نظافةةةةةة...   pos\n",
       "8337  طعم متز غيه ، من نحي جهز طعم ، ويض من نحي أكل ...   pos\n",
       "8338  جين عند سعة 10 ليل افى احد برع شوفل طال فضي جل...   neg\n",
       "8339        اذا كان الل شرع جري اوو اشء الل ولل انه خبل   pos\n",
       "\n",
       "[8340 rows x 2 columns]"
      ]
     },
     "execution_count": 60,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "preprocessed_reviews"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# Feature Extraction"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def featureExtraction(data):\n",
    "    vectorizer = TfidfVectorizer(min_df=10, max_df=0.75, ngram_range=(1,3))\n",
    "    tfidf_data = vectorizer.fit_transform(data)\n",
    "    return tfidf_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def learning(clf, X, Y):\n",
    "    X_train, X_test, Y_train, Y_test = cross_validation.train_test_split(X,Y, test_size=0.4, random_state=43)\n",
    "    \n",
    "    classifer = clf()\n",
    "    classifer.fit(X_train, Y_train)\n",
    "    \n",
    "    predict = cross_validation.cross_val_predict(classifer, X_test, Y_test, cv=10)\n",
    "    \n",
    "    scores = cross_validation.cross_val_score(classifer,X_test, Y_test, cv=10)\n",
    "    \n",
    "    print (scores)\n",
    "    \n",
    "    print (\"Accuracy of %s: %0.2f (+/- %0.2f)\" % (classifer, scores.mean(), scores.std() *2))\n",
    "    print (classification_report(Y_test, predict))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 99,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def main(clf):\n",
    "    reviews = getData(\"SELECT * FROM `REVIEWS` LIMIT 3000\")\n",
    "    preprocessed_reviews = prepareDataSets(reviews)\n",
    "    data, target = preprocessed_reviews['text'], preprocessed_reviews['label']\n",
    "    tfidf_data = featureExtraction(data)\n",
    "    learning(clf, tfidf_data, target)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 100,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[ 0.75206612  0.71900826  0.7107438   0.7107438   0.73553719  0.72268908\n",
      "  0.76470588  0.75630252  0.78991597  0.76470588]\n",
      "Accuracy of MultinomialNB(alpha=1.0, class_prior=None, fit_prior=True): 0.74 (+/- 0.05)\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "        neg       0.84      0.29      0.44       405\n",
      "        pos       0.73      0.97      0.83       795\n",
      "\n",
      "avg / total       0.77      0.74      0.70      1200\n",
      "\n"
     ]
    }
   ],
   "source": [
    "main(MultinomialNB)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 101,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "clfs = [MultinomialNB, BernoulliNB, LogisticRegression, SGDClassifier, SVC, LinearSVC, NuSVC]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 102,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[ 0.75206612  0.71900826  0.7107438   0.7107438   0.73553719  0.72268908\n",
      "  0.76470588  0.75630252  0.78991597  0.76470588]\n",
      "Accuracy of MultinomialNB(alpha=1.0, class_prior=None, fit_prior=True): 0.74 (+/- 0.05)\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "        neg       0.84      0.29      0.44       405\n",
      "        pos       0.73      0.97      0.83       795\n",
      "\n",
      "avg / total       0.77      0.74      0.70      1200\n",
      "\n",
      "[ 0.79338843  0.74380165  0.7768595   0.71900826  0.73553719  0.72268908\n",
      "  0.80672269  0.68907563  0.74789916  0.65546218]\n",
      "Accuracy of BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True): 0.74 (+/- 0.09)\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "        neg       0.64      0.51      0.57       405\n",
      "        pos       0.77      0.86      0.81       795\n",
      "\n",
      "avg / total       0.73      0.74      0.73      1200\n",
      "\n",
      "[ 0.76859504  0.74380165  0.74380165  0.75206612  0.75206612  0.74789916\n",
      "  0.77310924  0.7394958   0.79831933  0.75630252]\n",
      "Accuracy of LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,\n",
      "          intercept_scaling=1, max_iter=100, multi_class='ovr', n_jobs=1,\n",
      "          penalty='l2', random_state=None, solver='liblinear', tol=0.0001,\n",
      "          verbose=0, warm_start=False): 0.76 (+/- 0.03)\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "        neg       0.82      0.36      0.50       405\n",
      "        pos       0.75      0.96      0.84       795\n",
      "\n",
      "avg / total       0.77      0.76      0.73      1200\n",
      "\n",
      "[ 0.84297521  0.7107438   0.76859504  0.76033058  0.76033058  0.79831933\n",
      "  0.76470588  0.75630252  0.83193277  0.75630252]\n",
      "Accuracy of SGDClassifier(alpha=0.0001, average=False, class_weight=None, epsilon=0.1,\n",
      "       eta0=0.0, fit_intercept=True, l1_ratio=0.15,\n",
      "       learning_rate='optimal', loss='hinge', n_iter=5, n_jobs=1,\n",
      "       penalty='l2', power_t=0.5, random_state=None, shuffle=True,\n",
      "       verbose=0, warm_start=False): 0.78 (+/- 0.07)\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "        neg       0.68      0.60      0.64       405\n",
      "        pos       0.81      0.86      0.83       795\n",
      "\n",
      "avg / total       0.77      0.77      0.77      1200\n",
      "\n",
      "[ 0.66115702  0.66115702  0.66115702  0.66115702  0.66115702  0.66386555\n",
      "  0.66386555  0.66386555  0.66386555  0.66386555]\n",
      "Accuracy of SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,\n",
      "  decision_function_shape=None, degree=3, gamma='auto', kernel='rbf',\n",
      "  max_iter=-1, probability=False, random_state=None, shrinking=True,\n",
      "  tol=0.001, verbose=False): 0.66 (+/- 0.00)\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "        neg       0.00      0.00      0.00       405\n",
      "        pos       0.66      1.00      0.80       795\n",
      "\n",
      "avg / total       0.44      0.66      0.53      1200\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/alihamdi/anaconda/lib/python3.5/site-packages/sklearn/metrics/classification.py:1074: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no predicted samples.\n",
      "  'precision', 'predicted', average, warn_for)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[ 0.83471074  0.70247934  0.7768595   0.78512397  0.78512397  0.76470588\n",
      "  0.80672269  0.73109244  0.8487395   0.77310924]\n",
      "Accuracy of LinearSVC(C=1.0, class_weight=None, dual=True, fit_intercept=True,\n",
      "     intercept_scaling=1, loss='squared_hinge', max_iter=1000,\n",
      "     multi_class='ovr', penalty='l2', random_state=None, tol=0.0001,\n",
      "     verbose=0): 0.78 (+/- 0.08)\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "        neg       0.71      0.59      0.65       405\n",
      "        pos       0.81      0.88      0.84       795\n",
      "\n",
      "avg / total       0.78      0.78      0.78      1200\n",
      "\n",
      "[ 0.81818182  0.74380165  0.80165289  0.79338843  0.78512397  0.78991597\n",
      "  0.82352941  0.7394958   0.83193277  0.76470588]\n",
      "Accuracy of NuSVC(cache_size=200, class_weight=None, coef0=0.0,\n",
      "   decision_function_shape=None, degree=3, gamma='auto', kernel='rbf',\n",
      "   max_iter=-1, nu=0.5, probability=False, random_state=None,\n",
      "   shrinking=True, tol=0.001, verbose=False): 0.79 (+/- 0.06)\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "        neg       0.71      0.63      0.67       405\n",
      "        pos       0.82      0.87      0.85       795\n",
      "\n",
      "avg / total       0.78      0.79      0.79      1200\n",
      "\n"
     ]
    }
   ],
   "source": [
    "for clf in clfs:\n",
    "    main(clf)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python [Root]",
   "language": "python",
   "name": "Python [Root]"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}