Passing list come argomenti in Scrapy

Question

Sto provando a creare un'applicazione utilizzando Flask e Scrapy. Devo passare lo list degli URL allo spider. Ho provato ad utilizzare la seguente sintassi:

__init__: in Spider 
self.start_urls = ["http://www.google.com/patents/" + x for x in u] 

Flask Method 
u = ["US6249832", "US20120095946"] 
os.system("rm static/s.json; scrapy crawl patents -d u=%s -o static/s.json" % u) 

So cosa simile può essere fatto da file con gli URL richiesti lettura, ma posso passare elenco di URL per la scansione?

Answer 1

__init__() metodo di sostituzione del ragno:

class MySpider(Spider): 
    name = 'my_spider'  

    def __init__(self, *args, **kwargs): 
     super(MySpider, self).__init__(*args, **kwargs) 

     endpoints = kwargs.get('start_urls').split(',') 
     self.start_urls = ["http://www.google.com/patents/" + x for x in endpoints] 

e passare l'elenco degli endpoint attraverso la linea di ragionamento -a di comando:

scrapy crawl patents -a start_urls="US6249832,US20120095946" -o static/s.json 

Vedi anche:

• How to give URL to scrapy for crawling?

---

noti che è possibile anche corsa Scrapy dallo script:

• How to run Scrapy from within a Python script
• Scrapy Very Basic Example