registrazione a specifici file di log degli errori in Scrapy

Question

Sono in esecuzione di un registro delle Scrapy in questo modo:

from scrapy import log 
class MySpider(BaseSpider): 
    name = "myspider" 

    def __init__(self, name=None, **kwargs): 
     LOG_FILE = "logs/spider.log" 
     log.log.defaultObserver = log.log.DefaultObserver() 
     log.log.defaultObserver.start() 
     log.started = False 
     log.start(LOG_FILE, loglevel=log.INFO) 
     super(MySpider, self).__init__(name, **kwargs) 

    def parse(self,response): 
     .... 
     raise Exception("Something went wrong!") 
     log.msg('Something went wrong!', log.ERROR) 

     # Somehow write to a separate error log here. 

Poi corro il ragno in questo modo:

scrapy crawl myspider 

Questo sarebbe memorizzare tutto il registro Dati .INFO e log.ERROR in spider.log.

Se si verifica un errore, vorrei anche memorizzarli in un file di registro separato chiamato spider_errors.log. Renderebbe più semplice la ricerca di errori verificatisi piuttosto che cercare di eseguire la scansione dell'intero file spider.log (che potrebbe essere enorme).

C'è un modo per farlo?

EDIT:

Cercando con PythonLoggingObserver:

def __init__(self, name=None, **kwargs): 
     LOG_FILE = 'logs/spider.log' 
     ERR_File = 'logs/spider_error.log' 

     observer = log.log.PythonLoggingObserver() 
     observer.start() 

     log.started = False  
     log.start(LOG_FILE, loglevel=log.INFO) 
     log.start(ERR_FILE, loglevel=log.ERROR) 

ma ho ERROR: No handlers could be found for logger "twisted"

Answer 1

Basta lasciare logging fare il lavoro. Cercate di usare PythonLoggingObserver invece di DefaultObserver:

• configurare due logger (uno per INFO e uno per ERROR messaggi) direttamente in Python, o tramite fileconfig, o tramite dictconfig (vedi docs)

• avviarlo in ragno di __init__:

  def __init__(self, name=None, **kwargs): 
      # TODO: configure logging: e.g. logging.config.fileConfig("logging.conf") 
      observer = log.PythonLoggingObserver() 
      observer.start() 
  

Fammi sapere se hai bisogno di aiuto con la configurazione logger S.

EDIT:

Un'altra opzione è quella di iniziare a due osservatori di log file in __init__.py:

from scrapy.log import ScrapyFileLogObserver 
from scrapy import log 


class MySpider(BaseSpider): 
    name = "myspider" 

    def __init__(self, name=None, **kwargs): 
     ScrapyFileLogObserver(open("spider.log", 'w'), level=logging.INFO).start() 
     ScrapyFileLogObserver(open("spider_error.log", 'w'), level=logging.ERROR).start() 

     super(MySpider, self).__init__(name, **kwargs) 

    ...