È possibile sapere quale intervallo di IP esterno vengono utilizzati dagli operatori DataFlow su GCP? L'obiettivo è impostare un tipo di filtro IP su un servizio esterno, in modo che solo i nostri processi DataFlow in esecuzione su GCP possano accedere al servizio.Google Cloud Platform Lavoratori DataFlow Indirizzi IP
La soluzione migliore sarebbe aggiornare in modo da poter utilizzare SSL o altri meccanismi di autenticazione forte.
È possibile utilizzare l'opzione --network= per controllare la rete GCE a cui sono assegnate le VM worker. Dai uno sguardo allo GCE docs on networking per i dettagli su come impostare una VPN (come suggerito dal commento di Elmar). Si potrebbe anche considerare l'impostazione di una singola macchina in rete con un IP esterno statico e utilizzarlo come proxy per le altre macchine virtuali nella rete.
Questo non è un modello di utilizzo che abbiamo testato, quindi potrebbero esserci problemi con la latenza o la velocità del traffico attraverso il proxy/VPN. Probabilmente dovrai fare attenzione a inviare il tuo traffico solo attraverso questo proxy in modo da non dirottare accidentalmente il traffico utilizzato da ciascun lavoratore per comunicare con il servizio Dataflow.
Avete ulteriori dettagli su ciò che state cercando di fare? I filtri basati su indirizzi IP non sono sufficienti per fornire sicurezza/autenticazione per un servizio. –
Sicuro. Quindi abbiamo un cluster Kafka di produzione che gira fuori da GCP. Vorremmo elaborare i dati da lì utilizzando DataFlow (utilizzando una fonte personalizzata che abbiamo sviluppato). Tuttavia, vorremmo ridurre l'esposizione del nostro cluster Kafka. Stiamo eseguendo Kafka 0.8.x, quindi non abbiamo né SSL né autenticazione nel protocollo. – Thomas
Non penso che possiate sapere questo in anticipo perché il flusso potrebbe scalare in modo dinamico e non è possibile utilizzare un pool di IP statici predefiniti. E l'intera gamma IP GCE è troppo grande per essere utile. La mia idea sarebbe una VPN? Se vuoi davvero andare con gli indirizzi IP, l'unico modo che posso pensare è uno script che monitora gli indirizzi IP del flusso di dati e al volo riconfigura il tuo firewall. –