Analizza gli URI personalizzati con urlparse (Python)

Question

La mia applicazione crea URI personalizzati (o URL?) Per identificare gli oggetti e risolverli. Il problema è che il modulo urlparse di Python si rifiuta di analizzare schemi URL sconosciuti come se analizzi http.

Se non regolare di urlparse uses_ * liste ottengo questo:

>>> urlparse.urlparse("qqqq://base/id#hint") 
('qqqq', '', '//base/id#hint', '', '', '') 
>>> urlparse.urlparse("http://base/id#hint") 
('http', 'base', '/id', '', '', 'hint') 

Ecco quello che faccio, e mi chiedo se c'è un modo migliore per farlo:

import urlparse 

SCHEME = "qqqq" 

# One would hope that there was a better way to do this 
urlparse.uses_netloc.append(SCHEME) 
urlparse.uses_fragment.append(SCHEME) 

Perché non esiste un modo migliore per farlo?

Answer 1

Penso che il problema sia che gli URI non hanno tutti un formato comune dopo lo schema. Ad esempio, mailto: urls non sono strutturati come http: urls.

vorrei utilizzare i risultati del primo parse, poi sintetizzare un URL HTTP e analizzare di nuovo:

parts = urlparse.urlparse("qqqq://base/id#hint") 
fake_url = "http:" + parts[2] 
parts2 = urlparse.urlparse(fake_url) 

Answer 2

provare a rimuovere lo schema del tutto, e iniziare con // netloc, vale a dire:

>>> SCHEME="qqqq" 
>>> url="qqqq://base/id#hint"[len(SCHEME)+1:] 
>>> url 
'//base/id#hint' 
>>> urlparse.urlparse(url) 
('', 'base', '/id', '', '', 'hint') 

Non si avrà lo schema nel risultato urlparse, ma si conosce lo schema comunque.

Si noti inoltre che Python 2.6 sembra gestire questo URL bene (a parte il frammento):

$ python2.6 -c 'import urlparse; print urlparse.urlparse("qqqq://base/id#hint")' 
ParseResult(scheme='qqqq', netloc='base', path='/id#hint', params='', query='', fragment='') 

Answer 3

È possibile anche registrare un gestore personalizzato con urlparse:

import urlparse 

def register_scheme(scheme): 
    for method in filter(lambda s: s.startswith('uses_'), dir(urlparse)): 
     getattr(urlparse, method).append(scheme) 

register_scheme('moose') 

Questo aggiungerà il vostro schema URL alle liste:

uses_fragment 
uses_netloc 
uses_params 
uses_query 
uses_relative 

L'URI verrà quindi trattato come http-like e sarà correttamente restituire il percorso, frammento, username/password ecc

urlparse.urlparse('moose://username:password@hostname:port/path?query=value#fragment')._asdict() 
=> {'fragment': 'fragment', 'netloc': 'username:password@hostname:port', 'params': '', 'query': 'query=value', 'path': '/path', 'scheme': 'moose'} 

Answer 4

C'è anche libreria chiamata furl che ti dà risultato desiderato:

>>>import furl 
>>>f=furl.furl("qqqq://base/id#hint"); 
>>>f.scheme 
'qqqq' 

>>> f.host 
'base' 
>>> f.path 
Path('/id') 
>>> f.path.segments 
['id'] 
>>> f.fragment                                                                 
Fragment('hint') 
>>> f.fragmentstr                                                                
'hint' 

Answer 5

È possibile utilizzare yurl biblioteca. A differenza di Purl o Furl, non prova a correggere bug urlparse. È nuovo compatibile con l'implementazione RFC 3986.

>>> import yurl 
>>> yurl.URL('qqqq://base/id#hint') 
URLBase(scheme='qqqq', userinfo=u'', host='base', port='', path='/id', query='', fragment='hint') 

Answer 6

La domanda sembra non essere aggiornata. Dal momento che almeno Python 2.7 non ci sono problemi.

Python 2.7.10 (default, May 23 2015, 09:40:32) [MSC v.1500 32 bit (Intel)] on win32 
>>> import urlparse 
>>> urlparse.urlparse("qqqq://base/id#hint") 
ParseResult(scheme='qqqq', netloc='base', path='/id', params='', query='', fragment='hint')