Come scaricare PDF da collegamenti raschiati [Python]?

Question

Sto lavorando per creare un Web Scraper PDF in Python. In sostanza, sto cercando di racimolare tutti gli appunti di una delle mie lezioni, che sono sotto forma di PDF. Voglio inserire un URL, quindi ottenere i PDF e salvarli in una directory sul mio laptop. Ho esaminato diversi tutorial, ma non sono del tutto sicuro su come procedere. Nessuna delle domande su StackOverflow sembra essere d'aiuto neanche a me.

Ecco quello che ho finora:

import requests 
from bs4 import BeautifulSoup 
import shutil 

bs = BeautifulSoup 

url = input("Enter the URL you want to scrape from: ") 
print("") 

suffix = ".pdf" 

link_list = [] 

def getPDFs():  
    # Gets URL from user to scrape 
    response = requests.get(url, stream=True) 
    soup = bs(response.text) 

    #for link in soup.find_all('a'): # Finds all links 
    # if suffix in str(link): # If the link ends in .pdf 
     #  link_list.append(link.get('href')) 
    #print(link_list) 

    with open('CS112.Lecture.09.pdf', 'wb') as out_file: 
     shutil.copyfileobj(response.raw, out_file) 
    del response 
    print("PDF Saved") 

getPDFs() 

In origine, avevo ottenuto tutti i collegamenti ai file PDF, ma non sapevo come scaricare loro; il codice per questo è ora commentato.

Ora sono arrivato al punto in cui sto cercando di scaricare solo un PDF; e un PDF viene scaricato, ma è un file 0KB.

Se è di qualche utilità, sto usando Python 3.4.2

Answer 1

Se questo è qualcosa che non richiede di essere loggato, è possibile utilizzare urlretrieve():

from urllib.request import urlretrieve 

for link in link_list: 
    urlretrieve(link)