Come posso raschiare le pagine con contenuto dinamico usando node.js?

Question

Sto provando a racimolare un website ma non ottengo alcuno degli elementi, perché questi elementi sono creati dinamicamente.

Io uso il cheerio in node.js e il mio codice è di sotto.

var request = require('request'); 
var cheerio = require('cheerio'); 
var url = "http://www.bdtong.co.kr/index.php?c_category=C02"; 

request(url, function (err, res, html) { 
    var $ = cheerio.load(html); 
    $('.listMain > li').each(function() { 
     console.log($(this).find('a').attr('href')); 
    }); 
}); 

Questo codice restituisce risposta vuota, perché quando la pagina viene caricata, il <ul id="store_list" class="listMain"> è vuoto.

Il contenuto non è stato ancora aggiunto.

Come posso ottenere questi elementi utilizzando node.js? Come posso raschiare le pagine con contenuti dinamici?

Answer 1

Qui vai;

var phantom = require('phantom'); 

phantom.create(function (ph) { 
    ph.createPage(function (page) { 
    var url = "http://www.bdtong.co.kr/index.php?c_category=C02"; 
    page.open(url, function() { 
     page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() { 
     page.evaluate(function() { 
      $('.listMain > li').each(function() { 
      console.log($(this).find('a').attr('href')); 
      }); 
     }, function(){ 
      ph.exit() 
     }); 
     }); 
    }); 
    }); 
}); 

Answer 2

utilizzare il nuovo modulo di NPM x-ray, con un driver web pluggable x-ray-phantom.

esempi nelle pagine di cui sopra, ma ecco come fare scraping dinamica:

var phantom = require('x-ray-phantom'); 
var Xray = require('x-ray'); 

var x = Xray() 
    .driver(phantom()); 

x('http://google.com', 'title')(function(err, str) { 
    if (err) return done(err); 
    assert.equal('Google', str); 
    done(); 
}) 

Answer 3

Partenza GoogleChrome/puppeteer

senza testa Cromo Nodo API

Rende raschiando piuttosto banale. Il seguente esempio raschiare il titolo sopra a npmjs.com (supponendo .npm-expansions resti)

const puppeteer = require('puppeteer'); 

(async() => { 
    const browser = await puppeteer.launch(); 
    const page = await browser.newPage(); 

    await page.goto('https://www.npmjs.com/'); 

    const textContent = await page.evaluate(() => { 
    return document.querySelector('.npm-expansions').textContent 
    }); 

    console.log(textContent); /* No Problem Mate */ 

    browser.close(); 
})(); 

evaluate consentirà l'ispezione del elemento dinamico in quanto ciò eseguire gli script nella pagina.