Lo Scrapy dottore dice che:quali sono i vantaggi dell'uso di scrapyd?
Scrapy viene fornito con un built-in servizio, chiamato “Scrapyd”, che consente di distribuire i vostri progetti e controllare le loro ragni utilizzando un servizio web JSON (aka caricare.).
ci sono alcuni vantaggi in termini di utilizzo di scrapyd?
Scrapyd consente di eseguire scrapy su una macchina diversa da quella che si utilizza tramite una comoda API Web che significa che è possibile utilizzare semplicemente curl o anche un browser Web per caricare nuove versioni di progetto ed eseguirle. In caso contrario, se si desidera eseguire Scrapy nel cloud da qualche parte, è necessario scp copiare il nuovo codice spider e quindi effettuare l'accesso con ssh e generare il numero scrapy crawl myspider.
Scrapyd gestirà anche i processi per te se vuoi eseguire molti spider in parallelo; ma se hai Scrapy sul tuo computer locale e hai accesso alla riga di comando o un modo per eseguire gli spider e vuoi solo eseguire uno spider alla volta, allora stai meglio usando lo spider manualmente.
Se si stanno sviluppando spider, di sicuro non si desidera utilizzare scrapyd per le iterazioni di compilazione/test rapide in quanto aggiunge solo un livello di complessità.
qualche tempo fa stavo effettivamente usando il sedano per controllare i miei ragni. Quali sarebbero i pro e i contro di questo contro quello .. – goh
Come posso proteggere quell'API web in modo tale che nessuna scansione della porta venga a conoscenza della mia implementazione Scrapyd e non possa usare la stessa API? So di essere in ritardo di 3 anni, ma non sono riuscito a trovare nulla riguardo alla mia domanda. – harkirat1892