GitHub - zll5267/spider

Branches Tags

Name		Name	Last commit message	Last commit date
Latest commit History 6 Commits
parse_auto		parse_auto
msargparser.py		msargparser.py
msconfigparser.py		msconfigparser.py
mslogger.py		mslogger.py
msunittest.py		msunittest.py
msurlhandler.py		msurlhandler.py
msurlstore.py		msurlstore.py
msutils.py		msutils.py
mswork.py		mswork.py
readme.txt		readme.txt

Repository files navigation

logger实现a. 现在全体用一个logger,可否一个线程一个
          b. 现在打印方式导致输出的文件，行号不正确 ok

urlstore: 如何支持多线程操作, add lock in the multi-threads handle methods, ok

如何支持最大深度抓取 max_depth, ok