404 errore con open-uri in un'attività rake ... che cosa sta causando?

Question

Ho un compito rastrello che recupera i dati JSON da un API, lo analizza e lo salva nel database:

task :embedly => :environment do 
    require 'json' 
    require 'uri' 
    require 'open-uri' 

    Video.all.each do |video| 
    json_stream = open("http://api.embed.ly/1/oembed?key=08b652e6b3ea11e0ae3f4040d3dc5c07&url=#{video.video_url}&maxwidth=525") 
    ruby_hash = JSON.parse(json_stream.read) 
    thumbnail_url = ruby_hash['thumbnail_url'] 
    embed_code = ruby_hash['html'] 
    video.update_attributes(:thumbnail_url => thumbnail_url, :embed_code => embed_code) 
    end 
end 

ottengo questo errore nella traccia dello stack quando si esegue il compito rastrello e non ho idea di cosa lo sta causando:

rake aborted! 
404 Not Found 
/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:277:in `open_http' 
/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:616:in `buffer_open' 
/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:164:in `open_loop' 
/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:162:in `catch' 
/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:162:in `open_loop' 
/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:132:in `open_uri' 
/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:518:in `open' 
/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/open-uri.rb:30:in `open' 
/rubyprograms/dreamstill/lib/tasks/tasks.rake:16 
/rubyprograms/dreamstill/lib/tasks/tasks.rake:15:in `each' 
/rubyprograms/dreamstill/lib/tasks/tasks.rake:15 
/Library/Ruby/Gems/1.8/gems/rake-0.8.7/lib/rake.rb:636:in `call' 
/Library/Ruby/Gems/1.8/gems/rake-0.8.7/lib/rake.rb:636:in `execute' 
/Library/Ruby/Gems/1.8/gems/rake-0.8.7/lib/rake.rb:631:in `each' 
/Library/Ruby/Gems/1.8/gems/rake-0.8.7/lib/rake.rb:631:in `execute' 
/Library/Ruby/Gems/1.8/gems/rake-0.8.7/lib/rake.rb:597:in `invoke_with_call_chain' 
/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/lib/ruby/1.8/monitor.rb:242:in `synchronize' 

Qualche idea sul problema e su come risolverlo?

Answer 1

L'API embed.ly restituisce un valore 404 se la risorsa specificata (video/immagine) non esiste. OpenURI gestisce questo come un'eccezione. Per cogliere l'errore si potrebbe fare qualcosa di simile:

task :embedly => :environment do 
    require 'json' 
    require 'uri' 
    require 'open-uri' 

    Video.all.each do |video| 
    begin 
     json_stream = open("http://api.embed.ly/1/oembed?key=08b652e6b3ea11e0ae3f4040d3dc5c07&url=#{video.video_url}&maxwidth=525") 
     ruby_hash = JSON.parse(json_stream.read) 
     thumbnail_url = ruby_hash['thumbnail_url'] 
     embed_code = ruby_hash['html'] 
     video.update_attributes(:thumbnail_url => thumbnail_url, :embed_code => embed_code) 
    rescue OpenURI::HTTPError => ex 
     puts "Handle missing video here" 
    end 
    end 
end 

Si può anche verificare se i video/URL sono validi prima di eseguire l'attività.

Answer 2

Non stai URL codifica del video.url:

json_stream = open("...url=#{video.video_url}...") 

quindi probabilmente stai producendo un URL maciullato e api.embed.ly vi sta dicendo che non è possibile trovarlo. Ad esempio, se video.video_url è http://a.b?c=d&e=f, quindi e=f verrà visualizzato come parametro per http://api.embed.ly/1/oembed anziché passare a http://a.b.

Si potrebbe desiderare di fare questo, invece:

require 'cgi' 
#... 
json_stream = open("...url=#{CGI.escape(video.video_url)}...")