Skip to content

1yangsh/django-scrapy-news

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

31 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

💡 IT news crawling site 구축

crawling IT news site by using Scrapy and Django



📑 Project description

  • IT 뉴스 크롤링 웹사이트 만들기

Scray를 이용하여 네이버 IT 뉴스를 크롤링하여 model에 연동된 db에 저장

django MTV 패턴을 이용하여 크롤링한 데이터를 보여주는 웹사이트 구축

✅ 최신 데이터 가져오기 button을 통한 뉴스 크롤링

✅ 키워드 입력을 통한 search 기능 추가

✅ DB에 저장된 데이터를 제공할 수 있는 RESTful API 설계




💻 Start Project

# Scrapy Project
scrapy startproject myscrapy # start scrapy project
scrapy genspider mybot domin # scrapy bot
# Django project
django-admin startproject django-scrapy-news # 프로젝트 생성 
python manage.py migrate # db 저장
python manage.py startapp news # 뉴스 app 생성
# 모델 설계 -> 뷰 설계 -> 템플릿 설계



Project structure

structure





👍 Project result

project demo show


before crawling

before_crawling


After crawling

after_crawling


Search engine

search_engine


RESTful API

restAPI




👨‍👨‍👧‍👦 Members

name 양승현👨🏻‍💻
period 2021/01/25 ~ 2021/01/29



💻 Development Stack

division stack
Framework Django
Front-end Python, html, css
Back-end Python, Scrapy
db Sqlite
Code Management Git, Github
IDE Visual Studio Code

Releases

No releases published

Packages

No packages published