Stage 1 - Encription (client).ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Решение задачи прогнозирования задолженности по услугам ЖКХ с использованием полностью гомоморфного шифрования"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В настоящее время большинство современных компаний используют в своей деятельности машинное обучение, которое позволяет решать различные задачи: от прогнозирования задолженности до создания рекомендательных систем. При этом машинное обучение требовательно к вычислительной мощности, поэтому вместо закупки дорогостоящего оборудования возможно использование арендованного облачного сервера или специального сервиса, например, Yandex DataSphere. Но так как данные, использующиеся для обучения модели, передаются на сторонний сервер, возникает проблема обеспечения их безопасности, решить которую позволяет использование полностью гомоморфного шифрования, позволяющего выполнять вычисления над зашифрованными данными, не раскрывая их содержание.  \n",
    "\n",
    "В данной работе демонстрируется применение полностью гомоморфного шифрования для машинного обучения на примере решения задачи кредитного скоринга с предварительным шифрованием данных на стороне клиента (этап 1) и обучением и оценкой модели на зашифрованных данных на стороне сервера (этап 2).\n",
    "Также проводится исследование влияние размера данных на производительность полностью гомоморфного шифрования (этап 2а)\n",
    "\n",
    "В качестве библиотеки полностью гомоморфного шифрования выбрана TenSEAL, основанная на Microsoft SEAL, которая в настоящее время является наиболее используемой библиотекой полностью гомоморфного шифрования. С помощью API она обеспечивает простоту использования языка Python, при этом сохраняя эффективность за счет реализации большинства операций с использованием C++."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Этап 1 - Шифрование данных (клиент)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Импорт библиотек**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import tenseal as ts\n",
    "import torch\n",
    "from fhe_cs import encrypt_data\n",
    "from sklearn.model_selection import train_test_split"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 1 Подготовка данных"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Набор уже подготовленных и предобработанных данных не может быть опубликован в открытом доступе по соглашению и содержит сведения о 4400 жителях, использующих цифровой сервис для расчетов в сфере ЖКХ, и включает 23 признака, такие как, например, тип жилья, сезонный фактор, подключенные уведомления или автоплатёж."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 4400 entries, 0 to 4399\n",
      "Data columns (total 23 columns):\n",
      " #   Column                         Non-Null Count  Dtype  \n",
      "---  ------                         --------------  -----  \n",
      " 0   Has_Automatic_Payments_Set     4400 non-null   float64\n",
      " 1   Employment_Status              4400 non-null   float64\n",
      " 2   Income_Level                   4400 non-null   float64\n",
      " 3   Family_Size                    4400 non-null   float64\n",
      " 4   Average_Payment_Delay_Days     4400 non-null   float64\n",
      " 5   Payment_Method                 4400 non-null   float64\n",
      " 6   Seasonal_Factors               4400 non-null   float64\n",
      " 7   Frequency_of_Mobile_App_Usage  4400 non-null   float64\n",
      " 8   Number_of_Children             4400 non-null   float64\n",
      " 9   Payment_History_1M             4400 non-null   float64\n",
      " 10  Payment_History_3M             4400 non-null   float64\n",
      " 11  Payment_History_6M             4400 non-null   float64\n",
      " 12  Total_Debt                     4400 non-null   float64\n",
      " 13  Last_Debt_Payment_Date         4400 non-null   float64\n",
      " 14  Utility_Usage_Last_Month       4400 non-null   float64\n",
      " 15  Utility_Usage_Trend_3M         4400 non-null   float64\n",
      " 16  Previous_Penalties             4400 non-null   float64\n",
      " 17  SMS_Notifications_Opt_In       4400 non-null   float64\n",
      " 18  Email_Notifications_Opt_In     4400 non-null   float64\n",
      " 19  Number_of_Utility_Services     4400 non-null   float64\n",
      " 20  Residence_Type                 4400 non-null   float64\n",
      " 21  Age                            4400 non-null   float64\n",
      " 22  Is_Delinquent                  4400 non-null   float64\n",
      "dtypes: float64(23)\n",
      "memory usage: 790.8 KB\n"
     ]
    }
   ],
   "source": [
    "df = pd.read_csv('data.csv', low_memory=False)\n",
    "df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Разделим данные на обучающую и тестовую выборки"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = df.sample(frac=0.5)\n",
    "x = df.drop(columns=['Is_Delinquent'])\n",
    "y = df['Is_Delinquent'].copy()\n",
    "\n",
    "x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=42)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Создадим тензоры."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "x_train = torch.tensor(x_train.values).to(torch.float32)\n",
    "x_test = torch.tensor(x_test.values).to(torch.float32)\n",
    "y_train = torch.tensor(y_train.values).to(torch.float32).unsqueeze(1)\n",
    "y_test = torch.tensor(y_test.values).to(torch.float32).unsqueeze(1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 2 Шифрование данных"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для шифрования данных предлагается использовать схему CKKS, так как она позволяет работать с вещественными числами, которыми представлены данные. \n",
    "Параметры шифрования схемы CKKS включают в себя:\n",
    "* степень полиномиального модуля;\n",
    "* размеры модуля коэффициента.\n",
    "\n",
    "Определим значения параметров шифрования, для чего сначала определим количество необходимых операций умножения:\n",
    "* для операции скалярного произведения - 1;\n",
    "* для аппроксимации сигмоидной функции - 2;\n",
    "* для осуществления обратного распространения ошибки - 3.  \n",
    "\n",
    "Таким образом, мультипликативная глубина равна 1 + 2 + 3 = 6, что определяет количество чисел, состовляющих модуль коэффцииента. \n",
    "\n",
    "Степень полиномиального модуля poly_mod_grade, которую ещё называют коэффициентом масштабирования, должна быть степенью двойки (1024, 2048, 4096, 8192 и т. д.), так как она определяет точность кодирования для двоичного представления числа, то есть контролирует точность дробной части, поскольку это значение, на которое умножаются открытые тексты перед кодированием в полином целочисленных коэффициентов.  \n",
    "Приняв желаемый уровнь защищенности, эквивалентный AES, равный 128 битам, степень полиномиального модуля должна быть не ниже 8192, что позволит группировать до 4096 значений в одном зашифрованном тексте.\n",
    "\n",
    "Размеры модуля коэффициента coeff_mod_bit_sizes представляют собой список двоичных размеров, используя который TenSEAL генерирует список простых чисел этих двоичных размеров. Так как желаемый уровень защищённости составляет 128 бит, количество умножений равно 6, а 128 / 6 = 21.3, то в качестве двоичного размера следует использовать 21 бит. При этом двоичные размеры в количестве, равном количеству умножений, определяются в coeff_mod_bit_sizes[1:-1] и должны быть равными друг другу, а первый и последний размер в данном списке должны быть больше их по размеру.  \n",
    "Таким образом, размеры модуля коэффициента [40, 21, 21, 21, 21, 21, 21, 40] обозначают то, что модуль коэффициента будет содержать 8 простых чисел: первое и последнее по 40 бит и остальные по 21 бит. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "poly_mod_grade = 8192\n",
    "coeff_mod_bit_sizes = [40, 21, 21, 21, 21, 21, 21, 40]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Создадим TenSEALContext для указания схемы и параметров. По умолчанию создаются ключи релинеаризации, а также влючена автоматическая релинеаризация и масштабирование."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "ctx_training = ts.context(ts.SCHEME_TYPE.CKKS, poly_mod_grade, -1, coeff_mod_bit_sizes)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Также укажем параметр global_scale, который используется в качестве значения масштаба по умолчанию, и который равен 21 биту."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "ctx_training.global_scale = 2 ** 21"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Создадим ключи Галуа для выполнения операции скалярного произведения."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "ctx_training.generate_galois_keys()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Сохраним созданый TenSEALContext для использования его на сервере."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('encrypted data//context.hex', 'wb') as file:\n",
    "    file.write(ctx_training.serialize(save_secret_key=True))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для обеспечения безопасности данных на сервер нужно загружать уже зашифрованные данные, для чего используем функцию encrypt_data из ранее разработанного модуля fhe_cs. \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Шифрование заняло 45 секунд\n"
     ]
    }
   ],
   "source": [
    "encrypt_data(x_train, 'x_train', ctx_training)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Шифрование заняло 47 секунд\n"
     ]
    }
   ],
   "source": [
    "encrypt_data(y_train, 'y_train', ctx_training)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Шифрование заняло 11 секунд\n"
     ]
    }
   ],
   "source": [
    "encrypt_data(x_test, 'x_test', ctx_training)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Шифрование заняло 11 секунд\n"
     ]
    }
   ],
   "source": [
    "encrypt_data(y_test, 'y_test', ctx_training)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Таким образом, подготовленные данные были зашифрованы в отдельные файлы для их дальнейшей передачи на сервер."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": ".venv",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.12.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}