Compressione del testo prima di memorizzarlo nel database

Question

Ho bisogno di memorizzare una quantità enorme di testo nel database mysql. Saranno milioni di record con il tipo di campo LONGTEXT e la dimensione del database sarà enorme.

Quindi, vorrei chiedere, se esiste un modo sicuro per comprimere il testo prima di memorizzarlo nel campo TESTO per risparmiare spazio, con la possibilità di estrarlo indietro se necessario?

Qualcosa di simile:

$archived_text = compress_text($huge_text); 
// saving $archived_text to database here 
// ... 

// ... 
// getting compressed text from database 
$archived_text = get_text_from_db(); 
$huge_text = uncompress_text($archived_text); 

C'è un modo per fare questo con PHP o MySQL? Tutti i testi sono codificati in utf-8.

UPDATE

La mia domanda è un grande sito web della letteratura in cui gli utenti possono aggiungere i loro testi. Ecco la tabella che ho:

CREATE TABLE `book_parts` (
    `id` int(11) NOT NULL AUTO_INCREMENT, 
    `book_id` int(11) NOT NULL, 
    `title` varchar(200) DEFAULT NULL, 
    `content` longtext, 
    `order_num` int(11) DEFAULT NULL, 
    `views` int(10) unsigned DEFAULT '0', 
    `add_date` datetime DEFAULT NULL, 
    `is_public` tinyint(3) unsigned NOT NULL DEFAULT '1', 
    `published_as_draft` tinyint(3) unsigned NOT NULL DEFAULT '0', 
    PRIMARY KEY (`id`), 
    KEY `key_order_num` (`order_num`), 
    KEY `add_date` (`add_date`), 
    KEY `key_book_id` (`book_id`,`is_public`,`order_num`), 
    CONSTRAINT FOREIGN KEY (`book_id`) REFERENCES `books` (`id`) ON DELETE CASCADE 
) ENGINE=InnoDB DEFAULT CHARSET=utf8 

Attualmente ha circa 800k record e pesi 4 GB, il 99% delle query sono SELECT. Ho tutte le ragioni per pensare che i numeri aumentino schematicamente. Non mi piacerebbe archiviare i testi nei file perché c'è una logica piuttosto pesante e il mio sito web ha parecchi successi.

Answer 1

Hai intenzione di indicizzare questi testi. Quanto è grande la lettura caricata su questi testi? Inserisci il carico?

È possibile utilizzare la compressione dei dati InnoDB in modo trasparente e moderno. Vedi docs per maggiori informazioni.

Se hai davvero testi enormi (ad esempio, ogni testo è superiore a 10 MB), la buona idea non è salvarli in Mysql. Negozio compresso da testi gzip nel file system e solo puntatori e meta in mysql. Puoi espandere facilmente lo spazio di archiviazione in futuro e spostarlo ad es. DFS.

Aggiornamento: un altro vantaggio rispetto all'archiviazione di testi all'esterno di Mysql: DB rimane piccolo e veloce. Meno: alta probabilità di incoerenza dei dati.

Aggiornamento 2: se avete molto resourses di programmazione, per favore, dare uno sguardo su progetti come questo: http://code.google.com/p/mysql-filesystem-engine/.

Aggiornamento finale: in base alle informazioni, è possibile utilizzare solo la compressione InnoDB - è lo stesso di ZIP. Si può iniziare con questi params:

CREATE TABLE book_parts 
(...) 
ENGINE=InnoDB 
ROW_FORMAT=COMPRESSED 
KEY_BLOCK_SIZE=8; 

Più tardi avrete bisogno di giocare con KEY_BLOCK_SIZE. Vedi SHOW STATUS LIKE 'COMPRESS_OPS_OK' e SHOW STATUS LIKE 'COMPRESS_OPS'. Il rapporto tra questi due parametri deve essere vicino a 1.0: Docs.

Answer 2

Se si sta comprimendo (ad esempio gzip), quindi non utilizzare campi di testo di alcun tipo. Non sono binari-sicuri. I dati che entrano/escono dai campi di testo sono soggetti alla traduzione dei set di caratteri, che probabilmente (sebbene non necessariamente) manipolano i dati compressi e forniscono un risultato corrotto quando si recupera/decomprime il testo.

Utilizzare invece campi BLOB, che sono binari-trasparenti e non a qualsiasi traduzione dei dati.

Answer 3

Non ci sono benefici nella compressione di testi grandi in un database.

Qui ci sono i problemi che si potrebbero affrontare nel lungo periodo:

• Se il server si blocca i dati possono essere difficili da recuperare.
• Non ideale per la ricerca.
• Ci vuole più tempo per trasferire i dati tra il server mysql e il browser.
• In termini di tempo per il backup (non utilizzando la replica).

penso che la memorizzazione di questi grandi testi in un file su disco sarà più facile per:

• backup distribuiti (rsync).
• PHP per gestire il caricamento di file.

Answer 4

Si consiglia inoltre di utilizzare un'opzione COMPRESS per abilitare la compressione dei pacchetti. leggere alcune informazioni su questa opzione:

• Use Compression in MySQL Connector/Net
• Compress Property in dotConnect per MySQL

Per PHP Ho trovato questo - MYSQLI_CLIENT_COMPRESS for mysqli_real_connect function.

Answer 5

Potrebbe essere preferibile definire il campo di testo come blob e comprimere i dati in PHP per risparmiare costi nella comunicazione.

CREATE TABLE book_parts (
    ...... 
    content blob default NULL, 
    ...... 
) 

In PHP, utilizzare gzcompress e gzuncompress.

Answer 6

È possibile utilizzare le funzioni php gzdeflate e gzinflate per il testo.