国产精品chinese,色综合天天综合精品网国产在线,成午夜免费视频在线观看,清纯女学生被强行糟蹋小说

    <td id="ojr13"><tr id="ojr13"><label id="ojr13"></label></tr></td>
        • <source id="ojr13"></source>
            <td id="ojr13"><ins id="ojr13"><label id="ojr13"></label></ins></td>

            Article / 文章中心

            Python爬蟲:scrapy框架log日志設置

            發(fā)布時間:2021-11-23 點擊數(shù):732

            Scrapy提供5層logging級別:

            1. CRITICAL - 嚴重錯誤  2. ERROR - 一般錯誤  3. WARNING - 警告信息  4. INFO - 一般信息  5. DEBUG - 調試信息

            logging設置

            通過在setting.py中進行以下設置可以被用來配置logging

            以下配置均未默認值

            # 是否啟用日志 LOG_ENABLED=True  # 日志使用的編碼 LOG_ENCODING='utf-8'  # 日志文件(文件名) LOG_FILE=None  # 日志格式 LOG_FORMAT='%(asctime)s [%(name)s] %(levelname)s: %(message)s'  # 日志時間格式 LOG_DATEFORMAT='%Y-%m-%d %H:%M:%S'  # 日志級別 CRITICAL, ERROR, WARNING, INFO, DEBUG LOG_LEVEL='DEBUG'  # 如果等于True,所有的標準輸出(包括錯誤)都會重定向到日志,例如:print('hello') LOG_STDOUT=False  # 如果等于True,日志僅僅包含根路徑,F(xiàn)alse顯示日志輸出組件 LOG_SHORT_NAMES=False 

            配置示例

            # setting.py  from datetime import datetime  # 文件及路徑,log目錄需要先建好 today = datetime.now() log_file_path = "log/scrapy_{}_{}_{}.log".format(today.year, today.month, today.day)  # 日志輸出 LOG_LEVEL = 'DEBUG' LOG_FILE = log_file_path

            使用

            import logging logger = logging.getLogger(__name__) logger.warning("This is a warning")

            或者

            import scrapy  class MySpider(scrapy.Spider):   name = 'myspider'  start_urls = ['https://scrapinghub.com']   def parse(self, response):  self.logger.info('Parse function called on %s', response.url)