Come ottenere tutti i commenti di YouTube con il modulo gdata di Python?

Question

Cerca di catturare tutti i commenti da un determinato video, piuttosto che andare una pagina alla volta.

from gdata import youtube as yt 
from gdata.youtube import service as yts 

client = yts.YouTubeService() 
client.ClientLogin(username, pwd) #the pwd might need to be application specific fyi 

comments = client.GetYouTubeVideoComments(video_id='the_id') 
a_comment = comments.entry[0] 

Il codice precedente con consentono di afferrare un singolo commento, probabilmente il commento più recente, ma sto cercando un modo per afferrare tutti i commenti in una sola volta. Questo è possibile con il modulo di Python?

---

La documentazione API di YouTube per comments, feed dei commenti docs e Python API docs

Answer 1

Di seguito realizza quello che hai chiesto per l'utilizzo del Python YouTube API:

from gdata.youtube import service 

USERNAME = 'username@gmail.com' 
PASSWORD = 'a_very_long_password' 
VIDEO_ID = 'wf_IIbT8HGk' 

def comments_generator(client, video_id): 
    comment_feed = client.GetYouTubeVideoCommentFeed(video_id=video_id) 
    while comment_feed is not None: 
     for comment in comment_feed.entry: 
      yield comment 
     next_link = comment_feed.GetNextLink() 
     if next_link is None: 
      comment_feed = None 
     else: 
      comment_feed = client.GetYouTubeVideoCommentFeed(next_link.href) 

client = service.YouTubeService() 
client.ClientLogin(USERNAME, PASSWORD) 

for comment in comments_generator(client, VIDEO_ID): 
    author_name = comment.author[0].name.text 
    text = comment.content.text 
    print("{}: {}".format(author_name, text)) 

Purtroppo l'API limita il numero di voci che possono essere recuperati a . Questo è stato l'errore ho avuto quando ho provato una versione ottimizzato con una mano artigianale GetYouTubeVideoCommentFeed parametro URL:

gdata.service.RequestError: {'status': 400, 'body': 'You cannot request beyond item 1000.', 'reason': 'Bad Request'} 

Si noti che lo stesso principio dovrebbe valere per recuperare le voci in altri alimenti della API.

Se si vuole Hand craft il parametro GetYouTubeVideoCommentFeed URL, il suo formato è il seguente: si applicano

'https://gdata.youtube.com/feeds/api/videos/{video_id}/comments?start-index={sta‌​rt_index}&max-results={max_results}' 

le seguenti limitazioni: start-index <= 1000 e max-results <= 50.

Answer 2

L'unica soluzione che ho per ora, ma non è utilizzando l'API e diventa lento quando c'è diverse migliaia Commenti.

import bs4, re, urllib2 
#grab the page source for vide 
data = urllib2.urlopen(r'http://www.youtube.com/all_comments?v=video_id') #example XhFtHW4YB7M 
#pull out comments 
soup = bs4.BeautifulSoup(data) 
cmnts = soup.findAll(attrs={'class': 'comment yt-tile-default'}) 
#do something with them, ie count them 
print len(cmnts) 

Nota che a causa di 'classe' essere un nome di pitone incorporato, non si può fare ricerche normali per 'startwith' tramite espressioni regolari o lambda come visto here, dal momento che si sta utilizzando un dict, sui parametri regolari . Diventa anche piuttosto lento a causa di BeautifulSoup, ma deve essere utilizzato perché etree e minidom non trovano i tag corrispondenti per qualche motivo. Anche dopo prettyfying() con bs4