Qual è il modo più veloce per creare richieste Web simultanee in Perl?

Question

Devo eseguire alcune richieste di feed XML simultanee in Perl. Qual è il modo più veloce per fare questo ?

Answer 1

Io probabilmente usare AnyEvent, forse in questo modo:

use AnyEvent; 
use AnyEvent::HTTP; 


sub get_feeds { 
    my @feeds = @_; 
    my $done = AnyEvent->condvar; 
    my %results; 
    $done->begin(sub { $done->send(\%results) }); 

    for my $feed (@feeds){ 
     $done->begin; 
     http_get $feed, sub { $results{$feed} = \@_; $done->end }; 
    } 

    $done->end; 
    return $done; 
} 

my $done = get_feeds(...); 
my $result = $done->recv; # block until all feeds are fetched 

Answer 2

ho usato LWP::Parallel::UserAgent per qualcosa di simile. Un esempio dal POD:

require LWP::Parallel::UserAgent; 
$ua = LWP::Parallel::UserAgent->new(); 
... 

$ua->redirect (0); # prevents automatic following of redirects 
$ua->max_hosts(5); # sets maximum number of locations accessed in parallel 
$ua->max_req (5); # sets maximum number of parallel requests per host 
... 
$ua->register ($request); # or 
$ua->register ($request, '/tmp/sss'); # or 
$ua->register ($request, \&callback, 4096); 
... 
$ua->wait ($timeout); 
... 
sub callback { my($data, $response, $protocol) = @_; .... } 

Answer 3

HTTP::Async è abbastanza veloce e molto facile da codice.

Answer 4

In realtà, AnyEvent::Curl::Multi è una libreria non bloccante costruita su libcurl. Molto veloce e tonnellate di concorrenza disponibili. Molto più potente di AnyEvent :: HTTP, IMO.