Sumrized.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Demo for Text Summarization"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## English and Arabic"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Steps\n",
    "1. Preprocessing\n",
    "    * Split text to sentences\n",
    "    * Get Sentences Tokens\n",
    "    * Remove stop words\n",
    "2. Loading Word2Vec\n",
    "3. Define a threshold\n",
    "4. Identify Centroid Sentence\n",
    "5. TF-IDF \n",
    "6. Similarity between all phrases and centroid sentence\n",
    "7. Sort and Select the phrases with high similarity\n",
    "8. Rearrange following the original order"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Import Packages"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sumrized import Sumrized \n",
    "import gensim\n",
    "import gensim.models.keyedvectors as word2vec\n",
    "from helper import Helper\n",
    "import nltk, os\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Article Language"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "lang = \"ar\"\n",
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Loading Word2Vec"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Path to word2vec folder"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "#tools = 'tools/bow' # in my case, the folder './tools/' contain simlinks\n",
    "tools = 'tools/word2vec/' # in my case, the folder './tools/' contain simlinks"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### English\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "#word2vecEnPath = tools + 'wiki.en/wiki.en.vec'\n",
    "#word2vecEn = word2vec.KeyedVectors.load_word2vec_format(word2vecEnPath, \n",
    " #                                                     binary=True, \n",
    "  #                                                    unicode_errors='ignore',\n",
    "   #                                                   limit=50000\n",
    "    #                                                   )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Arabic"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "#word2vecArPath = tools + 'full_grams_sg_100_wiki.mdl'  \n",
    "word2vecArPath = tools + 'full_grams_cbow_100_wiki.mdl'\n",
    "\n",
    "word2vecAr =  gensim.models.Word2Vec.load(word2vecArPath)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "word2vec = word2vecEn if lang==\"en\" else word2vecAr"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Preprocessing"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "help = Helper(lang=lang)\n",
    "testingArticles = [\n",
    "    'article1.txt',\n",
    "    'article2.txt',\n",
    "    'article3.txt',\n",
    "    'article4.txt',\n",
    "    'article5.txt',\n",
    "    'article6.txt'\n",
    "\n",
    "]\n",
    "articlePath = 'articles/'+lang+'/'+testingArticles[5]\n",
    "content = help.getArticleContent(articlePath)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Define Summary size (percent %)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "sentences = help.getArticleSentences(content)\n",
    "summarySize = 5 # [10, 100]\n",
    "limit = ( summarySize * len(sentences) ) / 100"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Generate Summary"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'كانت عمان مقتصرة على الشركس في نهايات القرن التاسع عشر وحتى بداية القرن العشرين، ولكن بعد إعلانها عاصمة لإمارة شرق الأردن ومن بعدها المملكة الأردنية الهاشمية ازداد التوسع العمراني ووفد إليها الناس من مختلف المناطق، وبدأت مدينة عمان الحديثة بالتوسع في عقد الخمسينات والستينات من القرن الماضي حيث أخذت أحياء جديدة في الظهور في عمان الغربية. هذا وتوجد عدة مناطق صناعية، تحوي على عدد من الوكالات وكثير من محلات تصليح السيارات، متوزعة على أطراف العاصمة، كما في البيادر إلى الجنوب الغربي، وصافوط إلى الشمال الغربي، وماركا إلى الشمال الشرقي، ووادي الرمم إلى الشرق، والوحدات إلى الجنوب من المدينة. أسهم الخط الحديدي الحجازي في زيادة ملحوظة بعدد سكان المدينة لا سيما عندما رُبطت به المدينة عبر محطة عمان التي تبعد عن مركز المدينة خمسة كيلومترات، وذلك عام 1903، ولذا فقد أخذت أوضاع عمّان السكانية والاقتصادية تشهد تطوراً تدريجياً بطيئاً، فأنشئ أول مجلس بلدي في المدينة عام 1909 وغدت مركزاً لمديرية الناحية عام 1914، وقد كانت عمان قبل تأسيس الأردن الحديث سنة 1921 مركزا مهما رغم قلة عدد سكانها مقارنة ببعض المدن المجاورة كالسلط ونابلس والقدس حيث كانت أشبه بقرية كبيرة طيلة تلك الفترة. وفي وسط المدينة يقع سبيل الحوريات، وعلى مقربة من السبيل ينتصب المدرج الروماني الكبير الذي يتسع لخمسة آلاف متفرج، وغيرها من المعالم التي تُستغل حتى اليوم في فعاليات ثقافية وفنية عديدة، وهي من المراكز التي يستغلها مهرجان الأردن وينظم فيها فعالياته:\\n وقد توالت على عمان مجموعات أخرى من المهاجرين الشراكسة القادمين من شمال القوقاز بعد احتلال بلادهم من قبل الجيوش الروسية القيصرية عام 1864، فسكنوا في أحياء ما زالت تحمل أسماءها حتى اليوم مثل حي «المهاجرين» وحي «الشابسوغ» وحي القبرطاي ومحلّة الأبزاخ. ومن أهم المناطق التي يرتادها هؤلاء، مناطق شارع الثقافة وعبدون وشارع الوكالات وسوق الصويفية وسوق الرابية وشارع مكة وشارع المدينة المنورة وشارع الجامعة الأردنية وسوق جبل اللويبدة وشارع الرينبو وسوق جبل الحسين وسوق أم أذينة، ومناطق وسط البلد بطبيعة الحال. تمتد عمان بشكل رئيسي فوق عشرين جبلاً تقريباً على طول المدينة وعرضها ومن أهم جبالها السبعة الأوائل وهي جبل القصور، جبل الجوفة، جبل التاج، جبل النزهة، جبل النصر، جبل الاشرفية، جبل النظيف، والجبل الأخضر. بالإضافة إلى جبل عمان وجبل اللويبدة وجبل الحسين وجبل القلعة. ومن أهم المساجد في عمان:\\nومن أهم الكنائس في عمان:\\nالمدن الشقيقة لعمان هي:'"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sumrized = Sumrized(lang, word2vec)\n",
    "summary = sumrized.summarize(content, limit)\n",
    "summary"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}