modo più rapido per esportare i BLOB dalla tabella in singoli file

Question

Qual è il modo più rapido per esportare file (BLOB) memorizzati in una tabella SQL Server in un file sul disco rigido? Ho più di 2,5 TB di file (90 kb avg) memorizzati come varbinary e ho bisogno di estrarne ciascuno su un disco rigido locale il più rapidamente possibile. BCP sembra funzionare, ma ci vorranno più di 45 giorni con la velocità che sto vedendo, e sono preoccupato che il mio script fallirà a un certo punto perché Management Studio esaurirà la memoria.

Answer 1

Ho provato a utilizzare una funzione CLR ed era più veloce del doppio rispetto a BCP. Ecco il mio codice.

Metodo Originale:

SET @bcpCommand = 'bcp "SELECT blobcolumn FROM blobtable WHERE ID = ' + CAST(@FileID AS VARCHAR(20)) + '" queryout "' + @FileName + '" -T -c' 
EXEC master..xp_cmdshell @bcpCommand 

CLR Metodo:

declare @file varbinary(max) = (select blobcolumn from blobtable WHERE ID = @fileid) 
declare @filepath nvarchar(4000) = N'c:\temp\' + @FileName 
SELECT Master.dbo.WriteToFile(@file, @filepath, 0) 

codice C# per la funzione CLR

using System; 
using System.Data; 
using System.Data.SqlTypes; 
using System.IO; 
using Microsoft.SqlServer.Server; 

namespace BlobExport 
{ 
    public class Functions 
    { 
     [SqlFunction] 
     public static SqlString WriteToFile(SqlBytes binary, SqlString path, SqlBoolean append) 
     {   
     try 
     { 
      if (!binary.IsNull && !path.IsNull && !append.IsNull) 
      {   
      var dir = Path.GetDirectoryName(path.Value);   
      if (!Directory.Exists(dir))    
       Directory.CreateDirectory(dir);    
       using (var fs = new FileStream(path.Value, append ? FileMode.Append : FileMode.OpenOrCreate)) 
      { 
       byte[] byteArr = binary.Value; 
       for (int i = 0; i < byteArr.Length; i++) 
       { 
        fs.WriteByte(byteArr[i]); 
       }; 
      } 
      return "SUCCESS"; 
      } 
      else 
      "NULL INPUT"; 
     } 
     catch (Exception ex) 
     {   
      return ex.Message; 
     } 
     } 
    } 
} 

Answer 2

L'utilizzo di una soluzione di programmazione è a senso unico, ma la preoccupazione nella domanda originale che uno script potrebbe fallire se SSMS esaurisce la memoria può essere risolta anche creando un lavoro SQL Agent per l'attività. Questo ovviamente ignora completamente la parte relativa alle prestazioni della domanda.

Answer 3

Sono venuto qui cercando di esportare il file BLOB con il minimo sforzo. Le funzioni CLR non sono qualcosa che definirei il minimo sforzo. Here descritto più pigri uno, utilizzando OLE Automation:

declare @init int 
declare @file varbinary(max) = CONVERT(varbinary(max), N'your blob here') 
declare @filepath nvarchar(4000) = N'c:\temp\you file name here.txt' 

EXEC sp_OACreate 'ADODB.Stream', @init OUTPUT; -- An instace created 
EXEC sp_OASetProperty @init, 'Type', 1; 
EXEC sp_OAMethod @init, 'Open'; -- Calling a method 
EXEC sp_OAMethod @init, 'Write', NULL, @file; -- Calling a method 
EXEC sp_OAMethod @init, 'SaveToFile', NULL, @filepath, 2; -- Calling a method 
EXEC sp_OAMethod @init, 'Close'; -- Calling a method 
EXEC sp_OADestroy @init; -- Closed the resources 

Avrete potenzialmente necessario consentire di eseguire le stored procedure OA sul server (e poi spegnerlo, quando hai finito):

sp_configure 'show advanced options', 1; 
GO 
RECONFIGURE; 
GO 
sp_configure 'Ole Automation Procedures', 1; 
GO 
RECONFIGURE; 
GO