aramaProjesiVeriIsleme_Yönetmelik_model.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "aramaProjesiVeriIsleme_Yönetmelik_model.ipynb",
      "provenance": []
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "source": [
        "\n",
        "Veri işleme ve analizi için pandas kütüphanesi kullanılacaktır. Pandas kütüphanesi pd rumuzu ile kısaltılmıştır.\n"
      ],
      "metadata": {
        "id": "0jercKQW1K3r"
      }
    },
    {
      "cell_type": "code",
      "execution_count": 1,
      "metadata": {
        "id": "D4DSrSk9PiW8"
      },
      "outputs": [],
      "source": [
        "import pandas as pd"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Verilerimiz Google Drive (bulut) üzerinde olduğu için Google Colab ile Google Drive arasında bağlantı kurulacaktır."
      ],
      "metadata": {
        "id": "YnQR-Os61Q9P"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from google.colab import drive\n",
        "drive.mount('/content/drive/')"
      ],
      "metadata": {
        "id": "g8ZpPY4-Pmv1"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Google Drive içinde Colab Notebooks klasörünün içinde TDDI2022 isimli klasörde verilerimizi sakladığımız için bu klasöre erişilecektir.\n",
        "\n",
        "NOT: Bu klasörü daha önce oluşturmadıysanız %md TDDI2022 komutu veya Google Drive Ara Yüzü ile klasörü oluşturunuz!"
      ],
      "metadata": {
        "id": "QbOBrzFM1fw3"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "%cd drive/\n",
        "%cd MyDrive/\n",
        "%cd Colab Notebooks/\n",
        "%cd TDDI2022/\n",
        "\n",
        "%ls"
      ],
      "metadata": {
        "id": "h47_PvbxT9QD"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Veri İskeleti TDDI2022 klasöründe bulunan yarışma kapsamında yarışmacılara sağlanan kanunum-nlp-doc-analysis-dataset.csv dosyasının içindeki verileri pandas ile okuyarak oluşturulacaktır.\n",
        "\n",
        "Veri iskeleti oluşturulduktan sonra veri iskeleti ile ilgili bilgi ekrana yazdırılacaktır. Tam özetin yazdırılıp yazdırılmayacağı durumunu verbose=True (yazdırılsın) parametresi ile kontrol edilecektir."
      ],
      "metadata": {
        "id": "bfylci5v1icr"
      }
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "ZMriHlEGPqbV"
      },
      "outputs": [],
      "source": [
        "df = pd.read_csv('kanunum-nlp-doc-analysis-dataset.csv')\n",
        "df.info(verbose=True)"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "for i in range(4142) : \n",
        "  if df.loc[i][\"kategori\"] == \"Yönetmelik\":\n",
        "    print(i)"
      ],
      "metadata": {
        "id": "8VcFK5WbojAC"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "TDDI için transformers kütüphanesinin 4.20.1 versiyonu indirilmektedir."
      ],
      "metadata": {
        "id": "c3c23zsaQPyW"
      }
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "rgEu0Pj6Htp7"
      },
      "outputs": [],
      "source": [
        "!pip install transformers==4.20.1"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "bRLjWAuHLahS"
      },
      "outputs": [],
      "source": [
        "from transformers import AutoTokenizer, AutoModelForQuestionAnswering, pipeline\n",
        "\n",
        "modeller = [\"yunusemreemik/logo-qna-model\",\"savasy/bert-base-turkish-squad\",\"lserinol/bert-turkish-question-answering\"]\n",
        "\n",
        "icerik = df['data_text'][0][:210]\n",
        "sorular = [\"Resmi Gazete Tarihi nedir?\",\"Resmî Gazete Sayısı nedir?\", \"Kanunun No nedir?\",\"Kabul Tarihi nedir?\",\"Kanunun başlığı nedir?\"]\n",
        "\n",
        "\n",
        "for X in modeller:\n",
        "  print(\"Model:\",X)\n",
        "  veriBulucu = pipeline(task='question-answering', model=AutoModelForQuestionAnswering.from_pretrained(X), tokenizer=AutoTokenizer.from_pretrained(X))\n",
        "  for soru in sorular:\n",
        "    sonuc = veriBulucu(question = soru, context = icerik)\n",
        "    print(\"'\",soru,\"'\",\"sorusuna verilen cevap:\",sonuc['answer'])"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Tarih verilerinin formatlarının farklı olması nedeniyle hapsini aynı şekildeki bir stringe dönüştürüp karşılaştırma yapılmasını sağlamaktadır."
      ],
      "metadata": {
        "id": "hZR7a89XVOca"
      }
    },
    {
      "cell_type": "code",
      "execution_count": 10,
      "metadata": {
        "id": "vDj7k0UBloKI"
      },
      "outputs": [],
      "source": [
        "#tarih = input(\"tarih gir\")\n",
        "\n",
        "def tarihduzelt(tarih):\n",
        "  ayracsayisi = 0 \n",
        "  i = 0\n",
        "  gun = ''\n",
        "  ay = ''\n",
        "  yil = ''\n",
        "  if tarih.find('-') != -1:\n",
        "      ayracsayisi = 2\n",
        "  while i < len(tarih):\n",
        "    if tarih[i].isdigit() and ayracsayisi == 0: \n",
        "      gun = gun + tarih[i]\n",
        "    if tarih[i].isdigit() and ayracsayisi == 1:\n",
        "      ay = ay + tarih[i]\n",
        "    if tarih[i].isdigit() and ayracsayisi == 2:\n",
        "      yil = yil + tarih[i]\n",
        "\n",
        "    if tarih[i] == '/' or tarih[i] == '.':\n",
        "      ayracsayisi += 1\n",
        "    if tarih[i] == '-':\n",
        "      ayracsayisi -= 1\n",
        "    i += 1\n",
        "\n",
        "  if len(gun) < 2:\n",
        "    gun = '0' + gun\n",
        "  if len(ay) < 2:\n",
        "    ay = '0' + ay\n",
        "  return gun+ay+yil\n",
        "#print(tarihduzelt(tarih))"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 11,
      "metadata": {
        "id": "tNGU8pzNHi8u"
      },
      "outputs": [],
      "source": [
        "\n",
        "def veriduzelt(girdi):\n",
        "  if len(girdi) > 10:\n",
        "    girdi = girdi[len(girdi)-11:len(girdi)]\n",
        "    i = len(girdi) - 1\n",
        "  else:\n",
        "    return girdi\n",
        "  gecici = ''\n",
        "  while True and i:\n",
        "    if girdi[i].isdigit():\n",
        "      gecici += girdi[i]\n",
        "    i -= 1\n",
        "    if i == 0:\n",
        "      break\n",
        "  sonuc = ''\n",
        "  for j in range(len(gecici)):\n",
        "    sonuc += gecici[len(gecici)-(j+1)]\n",
        "  return sonuc\n",
        "  "
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "print(df[\"data_text\"][1939][:310])\n",
        "print(df[\"rega_no\"][1939][:310])"
      ],
      "metadata": {
        "id": "bjz9qD0oscnA"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "WzjKnsIl4aXi"
      },
      "outputs": [],
      "source": [
        "modeller = [\"savasy/bert-base-turkish-squad\"]\n",
        "dogrular = []\n",
        "cevaplar = []\n",
        "rg_no_dogru=0\n",
        "rg_no_yanlis=0\n",
        "rg_trh_dogru=0\n",
        "rg_trh_yanlis=0\n",
        "bkk_no_dogru=0\n",
        "bkk_no_yanlis=0\n",
        "kr_trh_dogru=0\n",
        "kr_trh_yanlis=0\n",
        "\n",
        "for i in range (1938,2534):\n",
        "  icerik = df['data_text'][i][:310]\n",
        "  sorular = [\"Resmî Gazete Sayısı nedir?\", \"Resmî Gazete Tarihi nedir?\"]\n",
        "\n",
        "  for X in modeller:\n",
        "   print(i)\n",
        "   veriBulucu = pipeline(task='question-answering', model=AutoModelForQuestionAnswering.from_pretrained(X), tokenizer=AutoTokenizer.from_pretrained(X))\n",
        "   for soru in sorular:\n",
        "      sonuc = veriBulucu(question = soru, context = icerik)\n",
        "      \n",
        "      if soru == \"Resmî Gazete Tarihi nedir?\" :\n",
        "        rg_trh1 = sonuc['answer']\n",
        "      if soru == \"Resmî Gazete Sayısı nedir?\" :\n",
        "        rg_no1 = sonuc['answer']                                                                                                                                           \n",
        "      print(\"'\",soru,\"'\",\"sorusuna verilen cevap:\",sonuc['answer']) \n",
        "\n",
        "  rg_trh2 = df.loc[i]['rega_tarihi']\n",
        "  rg_trh2 = tarihduzelt(rg_trh2)\n",
        "  rg_no2 = df.loc[i]['rega_no']\n",
        "\n",
        "  \n",
        "  if rg_no1.find(\"\\n\") != -1:\n",
        "    kes = rg_no1.find(\"\\n\")\n",
        "    rg_no1 = rg_no1[:kes]\n",
        "  if len(rg_trh1) > 10:\n",
        "    rg_trh1 = rg_trh1[:10]\n",
        "  rg_trh1 = rg_trh1.replace(' ', '')\n",
        "  rg_trh1 = tarihduzelt(rg_trh1)\n",
        " \n",
        "\n",
        "  print(rg_trh1, \"->\", rg_trh2)\n",
        "  print(rg_no1, \"->\", rg_no2)\n",
        "  if rg_no1 == rg_no2:\n",
        "    rg_no_dogru += 1\n",
        "  else:\n",
        "    rg_no_yanlis += 1\n",
        "    print(\"*rg_no*  cevap: \", rg_no1, \"doğrusu: \", rg_no2)\n",
        "  \n",
        "  if rg_trh1 == rg_trh2:\n",
        "    rg_trh_dogru += 1\n",
        "  else:\n",
        "    rg_trh_yanlis += 1\n",
        "    print(\"*rg_trh*  cevap: \", rg_trh1, \"doğrusu: \", rg_trh2)\n",
        "  \n",
        "\n",
        "  print(\" rg_no_dogru/yanlis:\", rg_no_dogru, rg_no_yanlis, \" rg_trh_dogru/yanlis:\", rg_trh_dogru, rg_trh_yanlis)\n",
        "  print(\"---------------------------------------------------------\")\n"
      ]
    }
  ]
}