creazione di un dizionario python come oggetto da buffer di protocollo da utilizzare nei panda

Question

Attualmente si interfaccia a un server che fornisce buffer di protocollo. Posso potenzialmente ricevere un numero molto elevato di messaggi. Attualmente il mio processo per leggere i buffer di protocollo e convertirli in un Pandas dataframe (non un passo necessario in generale, ma Panda offre piacevoli strumenti per l'analisi di insiemi di dati) è:

1. Leggi buffer di protocollo, sarà un protobuf google oggetto
2. buffer di protocollo Converti al dizionario utilizzando protobuf_to_dict
3. uso pandas.DataFrame.from_records per ottenere un dataframe

Questa grande opera, ma, dato il gran numero di messaggi che ho letto dal protobuf, è abbastanza inefficiente per c passa al dizionario e poi ai panda. La mia domanda è: è possibile creare una classe che possa far sembrare un oggetto protobuf python come un dizionario? Cioè, rimuovere il passaggio 2. Qualsiasi riferimento o pseudocodice sarebbe utile.

Answer 1

È possibile controllare il pacchetto python ProtoText. Fornisce operazione dict-like sul posto per accedere al tuo oggetto protobuf.

Esempio di utilizzo: Si supponga di avere un oggetto protobuf python person_obj.

import ProtoText 
print person_obj['name']  # print out the person_obj.name 
person_obj['name'] = 'David' # set the attribute 'name' to 'David' 
# again set the attribute 'name' to 'David' but in batch mode 
person_obj.update({'name': 'David'}) 
print ('name' in person_obj) # print whether the 'name' attribute is set in person_obj 
# the 'in' operator is better than the google implementation HasField function 
# in the sense that it won't raise Exception even if the field is not defined