OpenCV-Python-04-Contours.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 4. 윤곽선  (Contours)\n",
    "\n",
    "* **4.1 개요** : findContours, drawContours\n",
    "* **4.2 윤곽선 속성** : Moments, approxPolyDP, Convex Hull, Bounding Rectangle/Circle/Ellipse\n",
    "\n",
    "## 4.1 개요\n",
    "* `cv2.findContours()`, `cv2.drawContours()` 함수 이용\n",
    "* 정확도를 높히기 위해서 Binary Image를 사용. threshold나 canny edge 전처리를 하면 좋음.\n",
    "* `cv2.findContours()` 함수는 원본 이미지를 직접 수정하기 때문에, 원본 이미지를 보존 하려면 Copy해서 사용해야 함.\n",
    "* 검은색 배경에서 하얀색 대상을 찾는 것이므로, **대상은 흰색, 배경은 검은색**으로 만들어 줘야 함\n",
    "\n",
    "### findContours\n",
    "`cv2.findContours(image, mode, method[, contours[, hierarchy[, offset]]])` → `image, contours, hierarchy`\n",
    "* **image** : 8-bit single-channel image. binary image.\n",
    "* **mode** : contours를 찾는 방법\n",
    "    * `cv2.RETR_EXTERNAL` : contours line중 가장 바같쪽 Line만 찾음.\n",
    "    * `cv2.RETR_LIST` : 모든 contours line을 찾지만, hierachy 관계를 구성하지 않음.\n",
    "    * `cv2.RETR_CCOMP` : 모든 contours line을 찾으며, hieracy관계는 2-level로 구성함.\n",
    "    * `cv2.RETR_TREE` : 모든 contours line을 찾으며, 모든 hieracy관계를 구성함.\n",
    "* **method* : contours를 찾을 때 사용하는 근사치 방법\n",
    "    * `cv2.CHAIN_APPROX_NONE` : 모든 contours point를 저장.\n",
    "    * `cv2.CHAIN_APPROX_SIMPLE` : contours line을 그릴 수 있는 point 만 저장. (ex; 사각형이면 4개 point)\n",
    "    * `cv2.CHAIN_APPROX_TC89_L1` : contours point를 찾는 algorithm\n",
    "    * `cv2.CHAIN_APPROX_TC89_KCOS` : contours point를 찾는 algorithm\n",
    "\n",
    "### drawContours\n",
    "`cv2.drawContours(image, contours, contourIdx, color[, thickness[, lineType[, hierarchy[, maxLevel[, offset]]]]])` → `dst`\n",
    "* **image** : 원본 이미지\n",
    "* **contours** : contours정보.\n",
    "* **contourIdx** : contours list type에서 몇번째 contours line을 그릴 것인지. -1 이면 전체\n",
    "* **color** : contours line color\n",
    "* **thickness** : contours line의 두께. 음수이면 contours line의 내부를 채움."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "import cv2\n",
    "from matplotlib import pyplot as plt\n",
    "import numpy as np\n",
    "\n",
    "# 이미지\n",
    "img = cv2.imread('images/pringles.jpg', cv2.IMREAD_COLOR)\n",
    "rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)\n",
    "\n",
    "# 전처리 : 흑백이미지로 변환 > 이진화 > 적당히 뭉개기\n",
    "kernel = np.ones((5,5),np.uint8)\n",
    "thresh = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)\n",
    "thresh = cv2.adaptiveThreshold(thresh,255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV,11,2)\n",
    "thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel, iterations = 5) # erode(깍기) -> dilate(불리기)\n",
    "thresh = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, kernel, iterations = 2) # dilate -> erode\n",
    "\n",
    "# 윤곽선 검출\n",
    "contours, hierarchy = cv2.findContours(thresh,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)\n",
    "\n",
    "# 원본이미지에 초록색으로 윤곽선 그리기\n",
    "dst = rgb.copy()\n",
    "dst = cv2.drawContours(dst, contours, -1, (0,255,0), 3)\n",
    "\n",
    "# 화면출력\n",
    "plt.figure(figsize=(20,8))\n",
    "plt.subplot(1,2,1),plt.imshow(rgb)\n",
    "plt.title('Original'), plt.xticks([]), plt.yticks([])\n",
    "plt.subplot(1,2,2),plt.imshow(dst)\n",
    "plt.title('Output'), plt.xticks([]), plt.yticks([])\n",
    "    \n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 4.2 윤곽선 속성\n",
    "\n",
    "###  Moments\n",
    "**[Moments](https://en.wikipedia.org/wiki/Image_moment)**는  Area, Perimeter, 중심점 등 대상을 구분할 수 있는 특징을 의미함\n",
    "* 면적 : ${M}_{00}$\n",
    "* 중심점 : $\\{\\bar{x},\\bar{y}\\} = \\{\\frac{{M}_{10}}{{M}_{00}},\\frac{{M}_{01}}{{M}_{00}}\\} $"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 첫번째 contours의 moment 특징 추출\n",
    "c = contours[0]\n",
    "M = cv2.moments(c)\n",
    "\n",
    "# 윤곽선의 면적\n",
    "print('area : ', M['m00'])\n",
    "print('area using contourArea: ', cv2.contourArea(c))\n",
    "\n",
    "# 중심점\n",
    "cx = int(M['m10']/M['m00'])\n",
    "cy = int(M['m01']/M['m00'])\n",
    "print('centroid : ({},{})'.format(cx, cy))\n",
    "\n",
    "# 둘레길이 (Contour Perimeter) : 두번째 파라메터가 True면 폐곡선만들어서 둘레구함, False인 경우 선 길이만 구함\n",
    "print('perimeter : ',cv2.arcLength(c,True))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 다각형인지 확인 (Check Convexivity)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "c = contours[0]\n",
    "print('Convexivity : ',cv2.isContourConvex(c))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 윤곽선 근사\n",
    "* `cv2.findContours()` 함수에 의해서 찾은 contours line은 각각의 contours point를 가지고 있음. 이 Point를 연결하여 Line을 그림.\n",
    "* 이때 이 point의 수를 줄여 근사한 line을 그릴 때 사용되는 방법.\n",
    "* Point의 수를 줄이는데 사용되는 방식 : [Douglas-Peucker algorithm](https://en.wikipedia.org/wiki/Ramer-Douglas-Peucker_algorithm)\n",
    "\n",
    "`cv2.approxPolyDP(curve, epsilon, closed[, approxCurve])` → `approxCurve`\n",
    "* **curve** : contours point array\n",
    "* **epsilon** : original cuve와 근사치의 최대거리. 최대거리가 클 수록 더 먼 곳의 Point까지 고려하기 때문에 Point수가 줄어듬.\n",
    "* **closed** : 폐곡선 여부"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "import cv2\n",
    "from matplotlib import pyplot as plt\n",
    "import numpy as np\n",
    "\n",
    "# 이미지\n",
    "img = cv2.imread('images/pringles.jpg', cv2.IMREAD_COLOR)\n",
    "rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)\n",
    "\n",
    "# 전처리 : 흑백이미지로 변환 > 이진화 > 적당히 뭉개기\n",
    "kernel = np.ones((5,5),np.uint8)\n",
    "thresh = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)\n",
    "_, thresh = cv2.threshold(thresh,200,255,cv2.THRESH_BINARY_INV)\n",
    "thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel, iterations = 4)\n",
    "\n",
    "# 윤곽선 검출\n",
    "contours, hierarchy = cv2.findContours(thresh,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)\n",
    "\n",
    "# 적용하는 숫자가 커질 수록 Point의 갯수는 감소\n",
    "epsilon1 = 0.005*cv2.arcLength(contours[0], True)\n",
    "epsilon2 = 0.05*cv2.arcLength(contours[0], True)\n",
    "\n",
    "# 윤곽선 근사\n",
    "approx1 = cv2.approxPolyDP(contours[0], epsilon1, True)\n",
    "approx2 = cv2.approxPolyDP(contours[0], epsilon2, True)\n",
    "\n",
    "print(\"countours : \",len(contours[0]))\n",
    "print(\"0.5% approxy : \",len(approx1))\n",
    "print(\"5% approxy : \",len(approx2))\n",
    "\n",
    "# 원본이미지에 초록색으로 윤곽선 그리기\n",
    "dst = rgb.copy()\n",
    "dst = cv2.drawContours(dst, contours, -1, (0,255,0), 3)\n",
    "\n",
    "img1 = rgb.copy()\n",
    "img2 = rgb.copy()\n",
    "cv2.drawContours(img1, [approx1], 0,(0,255,0), 3) # 11개의 Point\n",
    "cv2.drawContours(img2, [approx2], 0,(0,255,0), 3) # 4개의 Point\n",
    "\n",
    "# 화면출력\n",
    "plt.figure(figsize=(16,14))\n",
    "titles = ['Original', 'Output', '0.5%', '5%']\n",
    "images = [rgb, dst, img1, img2]\n",
    "for i in range(4):\n",
    "    plt.subplot(2,2,i+1), plt.title(titles[i]), plt.imshow(images[i])\n",
    "    plt.xticks([]), plt.yticks([])\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Convex Hull\n",
    "* ontours point를 모두 포함하는 볼록한 외관선을 의미.\n",
    "* 아래 그림에서 붉은 선이 Convex Hull을 나타내고 화살표의 차이가 convexity defect라고 함\n",
    "* convexity defect는 contours와 hull과의 최대차이를 뜻함\n",
    "![convexitydefects](https://docs.opencv.org/4.0.1/convexitydefects.jpg)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "import cv2\n",
    "from matplotlib import pyplot as plt\n",
    "import numpy as np\n",
    "\n",
    "# 이미지\n",
    "img = cv2.imread('images/star.png', cv2.IMREAD_COLOR)\n",
    "rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)\n",
    "\n",
    "# 전처리 : 흑백이미지로 변환 > 이진화 > 적당히 뭉개기\n",
    "kernel = np.ones((5,5),np.uint8)\n",
    "thresh = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)\n",
    "\n",
    "# 윤곽선 검출\n",
    "contours, hierarchy = cv2.findContours(thresh,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)\n",
    "cnt = contours[0]\n",
    "\n",
    "# 원본이미지에 초록색으로 윤곽선 그리기\n",
    "dst = rgb.copy()\n",
    "dst = cv2.drawContours(dst, [cnt], -1, (0,255,0), 3)\n",
    "\n",
    "# 바깥쪽 윤곽선 찾아서 convexHull 그리기\n",
    "hull = cv2.convexHull(cnt)\n",
    "cvxhull = rgb.copy()\n",
    "cvxhull = cv2.drawContours(cvxhull, [hull], -1, (0,255,0), 3)\n",
    "\n",
    "# 화면출력\n",
    "plt.figure(figsize=(20,8))\n",
    "plt.subplot(1,2,1),plt.imshow(dst)\n",
    "plt.title('Countour'), plt.xticks([]), plt.yticks([])\n",
    "plt.subplot(1,2,2),plt.imshow(cvxhull)\n",
    "plt.title('Convex Hull'), plt.xticks([]), plt.yticks([])\n",
    "    \n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 외곽 사각형 (Bounding Rectangle)\n",
    "* **Straight Bounding Rectangle** : 대상의 Rotation은 무시한 사각형 모양\n",
    "* **Rotated Rectangle** : 대상을 모두 포함하면서, 최소한의 영역을 차지하는 사각형 모양"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "import cv2\n",
    "from matplotlib import pyplot as plt\n",
    "import numpy as np\n",
    "\n",
    "# 이미지\n",
    "img = cv2.imread('images/driver.jpg', cv2.IMREAD_COLOR)\n",
    "rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)\n",
    "\n",
    "# 전처리 : 흑백이미지로 변환 > 이진화 > 적당히 뭉개기\n",
    "kernel = np.ones((5,5),np.uint8)\n",
    "thresh = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) #흑백이미지로\n",
    "thresh = cv2.medianBlur(thresh, 5) #뭉개서 노이즈 줄이고\n",
    "thresh = cv2.adaptiveThreshold(thresh,255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV,11,2) #이진화\n",
    "thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel, iterations = 1) #자잘한 요소 삭제\n",
    "\n",
    "# 윤곽선 검출\n",
    "contours, hierarchy = cv2.findContours(thresh,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)\n",
    "cnt = contours[0]\n",
    "\n",
    "# 원본이미지에 초록색으로 윤곽선 그리기\n",
    "dst = rgb.copy()\n",
    "dst = cv2.drawContours(dst, cnt, -1, (0,255,0), 3)\n",
    "\n",
    "# 외곽사각형\n",
    "x,y,w,h = cv2.boundingRect(cnt)\n",
    "img_br = rgb.copy()\n",
    "img_br = cv2.rectangle(img_br,(x,y),(x+w,y+h),(0,255,0),2)\n",
    "\n",
    "# 외곽사각형 회전한거\n",
    "rect = cv2.minAreaRect(cnt)\n",
    "box = cv2.boxPoints(rect)\n",
    "box = np.int0(box)\n",
    "img_rotated = rgb.copy()\n",
    "img_rotated = cv2.drawContours(img_rotated,[box],0,(0,0,255),2)\n",
    "\n",
    "# 화면출력\n",
    "plt.figure(figsize=(10,10))\n",
    "titles = ['Original', 'Output', 'Bounding Rect', 'Rotated Rect']\n",
    "images = [rgb, dst, img_br, img_rotated]\n",
    "for i in range(4):\n",
    "    plt.subplot(2,2,i+1), plt.title(titles[i]), plt.imshow(images[i])\n",
    "    plt.xticks([]), plt.yticks([])\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 원과 타원\n",
    "* `cv.minEnclosingCircle(cnt)` : Contours line을 완전히 포함하는 원 중 가장 작은 원\n",
    "* `cv.fitEllipse(cnt)` : Contours Line을 둘러싸는 타원"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "import cv2\n",
    "from matplotlib import pyplot as plt\n",
    "import numpy as np\n",
    "\n",
    "# 이미지\n",
    "img = cv2.imread('images/driver.jpg', cv2.IMREAD_COLOR)\n",
    "rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)\n",
    "\n",
    "# 전처리 : 흑백이미지로 변환 > 이진화 > 적당히 뭉개기\n",
    "kernel = np.ones((5,5),np.uint8)\n",
    "thresh = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) #흑백이미지로\n",
    "thresh = cv2.medianBlur(thresh, 5) #뭉개서 노이즈 줄이고\n",
    "thresh = cv2.adaptiveThreshold(thresh,255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV,11,2) #이진화\n",
    "thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel, iterations = 1) #자잘한 요소 삭제\n",
    "\n",
    "# 윤곽선 검출\n",
    "contours, hierarchy = cv2.findContours(thresh,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)\n",
    "cnt = contours[0]\n",
    "\n",
    "# 원\n",
    "(x,y),radius = cv2.minEnclosingCircle(cnt)\n",
    "center = (int(x),int(y))\n",
    "radius = int(radius)\n",
    "img_circle = rgb.copy()\n",
    "img_circle = cv2.circle(img_circle,center,radius,(0,255,0),2)\n",
    "\n",
    "# 타원\n",
    "ellipse = cv2.fitEllipse(cnt)\n",
    "img_ellipse = rgb.copy()\n",
    "img_ellipse = cv2.ellipse(img_ellipse,ellipse,(0,255,0),2)\n",
    "\n",
    "# 화면출력\n",
    "plt.figure(figsize=(10,5))\n",
    "titles = ['Circle', 'Ellipse']\n",
    "images = [img_circle, img_ellipse]\n",
    "for i in range(2):\n",
    "    plt.subplot(1,2,i+1), plt.title(titles[i]), plt.imshow(images[i])\n",
    "    plt.xticks([]), plt.yticks([])\n",
    "plt.show()"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}