getFacesWithFID.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "gpuType": "T4",
      "mount_file_id": "1TASmPMqyl5O5wkIOcUHJLCe6XhlK1MAb",
      "authorship_tag": "ABX9TyNcMwcVSZM+XJYAfzGYbwyW",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/GRAY-DDOT/family_face/blob/main/getFacesWithFID.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 열람 및 실행 전 참고사항\n",
        "# *개인 정보 보호를 위해 출력된 결과 일부를 오류로 덮어씌움\n",
        "# *정상적인 결과 출력을 위해서는 다음사항에 대한 수정이 필요함\n",
        "# 1. shape_predictor 업로드\n",
        "# 2. 시트 데이터\n",
        "# 3. 시트에 따른 코드 수정\n",
        "# 4. path, os.makedir 관련 설정"
      ],
      "metadata": {
        "id": "qbHdcaqQezfm"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "\n",
        "import cv2\n",
        "import os\n",
        "import glob\n",
        "import gspread\n",
        "\n",
        "import numpy as np\n",
        "import pandas as pd\n",
        "import json\n",
        "import dlib\n",
        "import urllib.request\n",
        "from google.colab.patches import cv2_imshow\n",
        "\n",
        "# 랜드마크경로\n",
        "predictor = dlib.shape_predictor(\"프리딕터 위치\")\n",
        "detector = dlib.get_frontal_face_detector()\n",
        "\n",
        "#url => cv2.imdecode(cv2.IMREAD_COLOR)\n",
        "def url_to_image(url):\n",
        "  resp = urllib.request.urlopen(url)\n",
        "  image = np.asarray(bytearray(resp.read()), dtype='uint8')\n",
        "  image = cv2.imdecode(image, cv2.IMREAD_COLOR)\n",
        "\n",
        "  return image"
      ],
      "metadata": {
        "id": "Eom7w3fFMcm_"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 1. 파일 준비\n",
        "## 1.1. 정보 준비\n",
        "### gspread 접근\n",
        "\n",
        "https://docs.gspread.org/en/latest/"
      ],
      "metadata": {
        "id": "w_9_L6DZId3E"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### gspread Authentication"
      ],
      "metadata": {
        "id": "wXl65BMeIhX3"
      }
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "5EGr5XX8IN6t"
      },
      "outputs": [],
      "source": [
        "from google.colab import auth\n",
        "auth.authenticate_user()\n",
        "\n",
        "import gspread\n",
        "from google.auth import default\n",
        "creds, _ = default()\n",
        "\n",
        "gc = gspread.authorize(creds)"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### gspread load"
      ],
      "metadata": {
        "id": "RbfO6bmJTMC9"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# 스프레드 주소\n",
        "sheetUrl = \"시트 URL\"\n",
        "# 시트에는 가족별 사진 제출 타입(제출 장 수), 사진 위치(디렉토리 또는 사진 URL https://drive.google.com/uc?id= 과 같이 다운로드 가능한 주소이어야함.)\n",
        "sh = gc.open_by_url(sheetUrl)"
      ],
      "metadata": {
        "id": "u-MaX-cJKRgq"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#시트 접근 및 워크페이지 저장(0번째 시트 => 가족 정보 및 변환 url 저장)\n",
        "info = sh.get_worksheet(0)\n"
      ],
      "metadata": {
        "id": "fY-UIjf5Iia9"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#시트 데이터 전부 불러오기\n",
        "info_all = info.get_all_values()"
      ],
      "metadata": {
        "id": "5uCl7gaGL5iU"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#시트 데이터 판다스 데이터 프레임으로 변환\n",
        "df_info_all = pd.DataFrame(info_all)\n",
        "df_info_all = df_info_all.rename(columns={0:'family_ID', 1:'f_age', 2:'m_age',3:'c1_age',4:'c1_gender',5:'c2_age',6:'c2_gender',7:'c3_age',8:'c3_gender',9:'type',10:'3iP',11:'inF',12:'inM',13:'inC',14:'duo',15:'solo'})\n",
        "\n",
        "df_info_all"
      ],
      "metadata": {
        "id": "Bt8VH3yGvMq6"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 2. 가족별 폴더 생성 및 json 작성"
      ],
      "metadata": {
        "id": "mMxCih7x_IpW"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#Family_Face_Public/prcessed\n",
        "#path_for_not_aligned\n",
        "#path= \"저장할 디렉토리/\"\n",
        "#path_for_aligned\n",
        "path= \"저장할 디렉토리/\""
      ],
      "metadata": {
        "id": "bgTqCYuK_a1O"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "f_id_list=df_info_all['family_ID'].tolist()\n",
        "\n",
        "print(f_id_list)\n",
        "print(type(f_id_list))"
      ],
      "metadata": {
        "id": "doaY0nNkBOum"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "c1g_list = df_info_all['c1_gender'].tolist()\n",
        "c2g_list = df_info_all['c2_gender'].tolist()\n",
        "c3g_list = df_info_all['c3_gender'].tolist()\n",
        "print(c1g_list)\n",
        "print(c2g_list)\n",
        "print(c3g_list)"
      ],
      "metadata": {
        "id": "E45ckyPM-dlo"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "for i in f_id_list:\n",
        "  os.makedirs(path+'생성하고자 하는 디렉토리 이름 및 로직'+\"/\", exist_ok = True)\n"
      ],
      "metadata": {
        "id": "4M5jt0ffBxnP"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# JSON 작성\n",
        "for i in f_id_list:\n",
        "  #자식 성별 로드\n",
        "  cg1 = c1g_list[int(i)-1]\n",
        "  cg2 = c2g_list[int(i)-1]\n",
        "  cg3 = c3g_list[int(i)-1]\n",
        "\n",
        "  # JSON 데이터 정의\n",
        "\n",
        "\n",
        "  if(cg2 == ''):\n",
        "    print(\"cg1 = \" +cg1,\"  \\tcg2 = None\",\"  \\tcg3 = None\")\n",
        "    jsonData = {\n",
        "        \"family_id\": 처리 로직,\n",
        "        \"num_image\": 3,\n",
        "        \"num_family_member\": 3,\n",
        "        \"family_list\":[\"F\", \"M\", cg1 ]\n",
        "    }\n",
        "  elif(cg2 != ''):\n",
        "    if(cg3 == ''):\n",
        "      print(\"cg1 = \" +cg1,\"  \\tcg2 = \"+cg2,\"  \\tcg3 = None\")\n",
        "      jsonData = {\n",
        "        \"family_id\": 처리 로직,\n",
        "        \"num_image\": 4,\n",
        "        \"num_family_member\": 4,\n",
        "        \"family_list\":[\"F\", \"M\", cg1, cg2]\n",
        "      }\n",
        "    elif(cg3 != ''):\n",
        "      print(\"cg1 = \" +cg1,\"  \\tcg2 = \"+cg2,\"  \\tcg3 = \"+cg3)\n",
        "      jsonData = {\n",
        "        \"family_id\": 처리 로직,\n",
        "        \"num_image\": 5,\n",
        "        \"num_family_member\": 5,\n",
        "        \"family_list\":[\"F\", \"M\", cg1, cg2, cg3]\n",
        "      }\n",
        "  # JSON 파일로 저장\n",
        "\n",
        "  with open(path+\"이름 작성 로직\", 'w') as json_file:\n",
        "    json.dump(jsonData, json_file, indent=4)\n"
      ],
      "metadata": {
        "id": "rYQTwIy3Iq6l"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 3. 이미지 가공"
      ],
      "metadata": {
        "id": "ClisWkMTc471"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 이미지 디렉토리 조건 설정"
      ],
      "metadata": {
        "id": "o4aC3KVtdlOY"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "## 이미지 디렉토리 조건 설정\n",
        "img_type_list = df_info_all['type'].tolist()\n",
        "print(img_type_list)\n",
        "print(type(img_type_list))\n",
        "\n",
        "print(f_id_list)\n",
        "print(type(f_id_list))"
      ],
      "metadata": {
        "id": "acK4A00NdrR9"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [],
      "metadata": {
        "id": "ZEXeEw8kvxIt"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#가족 id 대로 입력\n",
        "#family_ID\tf_birth\tm_birth\tc_birth\tc_gender\ttype\tsolo_role\t3iP\tinF\tinM\tinC\tduo\tsolo\n",
        "*개인 정보 보호를 위해 출력된 결과 일부를 오류로 덮어씌움\n",
        "*정상적인 결과 출력을 위해서는 다음사항에 대한 수정이 필요함\n",
        "#1. shape_predictor 업로드\n",
        "#2. 시트 데이터\n",
        "#3. 시트에 따른 코드 수정\n",
        "#4. path, os.makedir 관련 설정\n",
        "for i in range(len(f_id_list)):\n",
        "  img_type = img_type_list[i]\n",
        "\n",
        "  print(\"=======================================================\")\n",
        "  print(\"[\"+str(i)+\"]\")\n",
        "  print(\"img_type= \"+img_type)\n",
        "\n",
        "  dir= []\n",
        "  print(\"sizeof dir= \"+str(len(dir)))\n",
        "  if(img_type == 'a'):\n",
        "    dir.insert(0,df_info_all['3iP'][i])\n",
        "    print(\"Validated\")\n",
        "    print(dir)\n",
        "  elif(img_type == 'c'):\n",
        "    dir.insert(0, df_info_all['duo'][i])\n",
        "    dir.insert(1, df_info_all['solo'][i])\n",
        "    print(\"Validated\")\n",
        "    print(dir)\n",
        "  elif(img_type == 'b'):\n",
        "    dir.insert(0, df_info_all['inF'][i])\n",
        "    dir.insert(1, df_info_all['inM'][i])\n",
        "    dir.insert(2, df_info_all['inC'][i])\n",
        "    print(\"Validated\")\n",
        "    print(dir)\n",
        "  elif(img_type == 'None'):\n",
        "    print(\"continue-i-img_type == 'None\")\n",
        "    continue\n",
        "\n",
        "  else: print(\"expception: invalide img_type\")\n",
        "\n",
        "  print(\"sizeof dir= \"+str(len(dir)))\n",
        "\n",
        "  l=0\n",
        "  for j in dir:\n",
        "    print(j)\n",
        "    l+=1\n",
        "    if(img_type == 'None'):\n",
        "      print(\"[break-j-img_type == 'None]'\")\n",
        "      break\n",
        "\n",
        "\n",
        "    img = url_to_image(j)\n",
        "\n",
        "\n",
        "    #aligned\n",
        "    dets = detector(img, 1)\n",
        "\n",
        "\n",
        "    # Find the 5 face landmarks we need to do the alignment.\n",
        "    faces = dlib.full_object_detections()\n",
        "    for detection in dets:\n",
        "        faces.append(predictor(img, detection))\n",
        "\n",
        "\n",
        "\n",
        "    # Get the aligned face images\n",
        "    # Optionally:\n",
        "    # images = dlib.get_face_chips(img, faces, size=160, padding=0.25)\n",
        "\n",
        "    images = dlib.get_face_chips(img, faces, size = 112)\n",
        "    for k in range(len(images)):\n",
        "      output_filename = path+\"이름 작명 로직\"+'.jpg'\n",
        "      cv2_imshow(images[k])\n",
        "      cv2.imwrite(output_filename, images[k])\n",
        "\n",
        "    \"\"\"\n",
        "    #not aligned(미정렬, 얼굴 영역 크게)\n",
        "    dets = detector(img, 1)\n",
        "    # Loop through all detected faces\n",
        "    for k, d in enumerate(dets):\n",
        "      # Get facial landmarks for the current face\n",
        "      shape = predictor(img, d)\n",
        "\n",
        "      # Define the parameters for drawing landmarks and annotations (similar to your existing code)\n",
        "      top_y =d.top()\n",
        "      bottom_y = d.bottom()\n",
        "      left_x = d.left()\n",
        "      right_x = d.right()\n",
        "\n",
        "      width = right_x - left_x\n",
        "      height = top_y - bottom_y\n",
        "\n",
        "      center_y = int(0.5*(top_y + bottom_y))\n",
        "      center_x = int(0.5*(left_x+ right_x))\n",
        "\n",
        "      top_y = center_y + int(1.0*height)\n",
        "      bottom_y = center_y - int(0.6*height)\n",
        "      left_x = center_x - int(0.8*width)\n",
        "      right_x = center_x + int(0.8*width)\n",
        "\n",
        "\n",
        "      # Modify the top part of the rectangle to extend it\n",
        "\n",
        "      # 정사각형 크기 결정 (너비와 높이 중 큰 값 사용)\n",
        "      square_size = max(right_x - left_x, bottom_y - top_y)\n",
        "\n",
        "      # 영역 경계 조정 (이미지 경계를 넘지 않도록)\n",
        "      top = max(center_y - square_size // 2, 0)\n",
        "      bottom = min(center_y + square_size // 2, img.shape[0])\n",
        "      left = max(center_x - square_size // 2, 0)\n",
        "      right = min(center_x + square_size // 2, img.shape[1])\n",
        "\n",
        "      if((right -left)!=(bottom - top)):\n",
        "        if ((right -left)>(bottom - top)):\n",
        "          right -= 1\n",
        "        else:\n",
        "          bottom -= 1\n",
        "\n",
        "\n",
        "      # Crop and resize the current face\n",
        "\n",
        "      crop = img[top:bottom, left:right]\n",
        "\n",
        "\n",
        "      cv2_imshow(crop)\n",
        "\n",
        "      # Save or display the cropped and resized face\n",
        "      # You can save each cropped face with a unique filename\n",
        "      output_filename = path+\"이름 작명 로직\"+'.jpg'\n",
        "      cv2.imwrite(output_filename, crop)\n",
        "      print(\"img saved!\")\n",
        "\n",
        "\n",
        "      # Draw a rectangle around the detected face (commented out to remove rectangle)\n",
        "      # cv2.rectangle(img, (left_x, top_y), (right_x, bottom_y), (0, 255, 0), 2)\n",
        "      \"\"\"\n"
      ],
      "metadata": {
        "id": "UCuu6y1UcxXA"
      },
      "execution_count": null,
      "outputs": []
    }
  ]
}