Comunicação entre clusters

Visão Geral

O objetivo dessa documentação é dar um overview da atual topologia de redes do Produto Kubernetes focando em quais cenários ela oferece a possibilidade de comunicação entre diferentes clusters. Além de explorar as diferentes técnicas para realizar a comunicação entre serviços e pods contidos em diferentes Clusters.

Objetivos

• Possibilitar a comunicação entre pods e serviços de diferentes Clusters, porém dentro de uma mesma região.

• Identificar os diferente cenários de comunicação.

• Elencar os prós e contras de cada cenário.

 

Escopo

• Testes realizados na região NE1, para um mesmo tenant.

• Foram utilizados 2(dois) Clusters para os testes.

 

Overview da Topologia de Rede

A configuração de rede atual possibilita que os Clusters se comuniquem através do range de portas 30000-32767 conforme diagrama abaixo.

Isso é possível pois o SecurityGroup dos workers nodes(k8s-cluster-{tenant_id}-{cluster_name}-secgroup-worker) criado no OpenStack contém uma regra de Ingress para as portas 30000-32767 tanto para comunicação TCP quando para UDP, de qualquer origem.

 

 

Levando essa premissa em consideração, existem três tipos de configuração de serviços que podemos utilizar para que a comunicação seja realizada:

 

Pré-requisitos

1. Criar 2 clusters em NE-1 . A partir desse momento identificaremos os clusters como cluster-1 e cluster-2 para os testes.

2. Para os deployments que serão expostos pelos serviços será utilizada a imagem ealen/echo-server , ela facilitará no processo de verificação e validação da comunicação, link.

3. Como ferramenta de avaliação, a imagem nicolaka/netshoot , bastante utilizada para fazer troubleshooting de redes Kubernetes, link.

 

---

NodePort

Configurando ambiente

1. Criar um deployment chamado network-test-cluster-1 no cluster-1

   1. kubectl create deployment network-test-cluster-1 --image=ealen/echo-server --replicas=3

2. Criar um deployment chamadonetwork-test-cluster-2 no cluster-2

   1. kubectl create deployment network-test-cluster-2 --image=ealen/echo-server --replicas=3

3. Criar um serviço do tipo NodePort para o deployment network-test-cluster-1:

   1. kubectl expose deployment network-test-cluster-1 --type=NodePort --port=80

      1. Um serviço com o mesmo nome do deployment será criado

4. Criar um serviço do tipo NodePort para o deployment network-test-cluster-2:

   1. kubectl expose deployment network-test-cluster-2 --type=NodePort --port=80

      1. Um serviço com o mesmo nome do deployment será criado
         
         

Validando Comunicação

1. Recupere o IP de um dos nós do cluster-2 <IP_NODE>:

   1. kubectl get nodes -o wide

2. Recupere a port do serviço network-test-cluster-2 <SERVICE_PORT>:

   1. kubectl get svc network-test-cluster-2 -o jsonpath='{.spec.ports[0].nodePort}'

3. No cluster-1, crie um Pod temporário com o netshoot

   1. kubectl run tmp-shell --rm -i --tty --image nicolaka/netshoot

      1. No netshoot(cluster-1), realizar uma chamada para o nó/porta expostos pelo serviço do cluster-2

         1. curl http://<IP_NODE>:<SERVICE_PORT>/?echo_env_body=HOSTNAME

Resultado Esperado

A requisição será roteada do pod tmp-shell do cluster-1 para a porta do nó exposta pelo serviço network-test-cluster-2 no cluster-2. O serviço encaminha a requisição para um dos pods do seu deployment, o qual retornará o seu hostname.

Ao executar o curl diversas vezes, em cada vez ele retornará um nome pod diferente do cluster-2, pois o serviço está encarregado de fazer o balancemaneto de carga.

Segue exemplo do retorno esperado (note que cada chamada retorna um hostname/pod diferente):

 

---

Load Balancer com IP Externo

Configurando ambiente

1. Utilizando o mesmo deployment network-test-cluster-2 da seção NodePort, criar um serviço do tipo LoadBalancer no cluster-2:

   1. kubecetl expose deployment network-test-cluster-2 --type=LoadBalancer --port=80 --name=network-test-cluster-2-lb

2. Um serviço com o nome network-test-cluster-2-lb será criado. Estre serviço cria um Load Balancer no OpenStack e associa um Floating IP ao mesmo.

 

Validando Comunicação

A validação será realizada em duas etapas, via comunicação de dentro do cluster(interna). A comunicação via internet pública(externa) é basicamente enviar uma requisição para o IP externo disponibilizado pelo load balancer, o resultado esperado é o mesmo.

A comunicação interna será realizada por meio de um pod do cluster realizando uma requisição diretamente ao Load Balancer.

1. Recupere o IP externo do serviço network-test-cluster-2-lb <EXTERNAL_IP>:

   1. kubectl get svc network-test-cluster-2-lb -o jsonpath='{.status.loadBalancer.ingress[*].ip}', ou

   2. observe o serviço e espere pelo EXTERNAL-IP através do comando a seguir. Isso retornará o IP do load balancer no qual você conseguirá conectar ao serviço.

       

       

      $ watch kubectl get service NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE network-test-cluster-2-lb 10.0.0.10 171.122.247.137 80:30000/TCP 5m

2. No cluster-1, crie um Pod temporário com o netshoot

   1. kubectl run tmp-shell --rm -i --tty --image nicolaka/netshoot

3. No netshoot(cluster-1), realizar uma chamada para ao IP externo criado pelo serviço do cluster-2:

   1. curl http://<EXTERNAL_IP>/?echo_env_body=HOSTNAME

Resultado Esperado

A requisição será roteada do pod tmp-shell do cluster-1 diretamente até o load-balancer do cluster-2, não precisando sair da rede interna da Cloud para a internet. A requisição é redirecionado para um dos pods do deployment desse serviço, o qual retornará o seu hostname.

Ao executar o curl diversas vezes, em cada vez ele retornará um nome pod diferente do cluster-2, pois o serviço está encarregado de fazer o balancemaneto de carga.

Segue exemplo do retorno esperado (note que cada chamada retorna um hostname/pod diferente):

 

---

Load Balancer com IP Interno

 

No Kubernetes é possível criar um Internal Load Balancer para serviços do tipo LoadBalancer: link1, assim como no Provider no OpenStack: link2. Mais especificamente para o OpenStack, basta adicionar a seguinte anotação no serviço:

 

Configurando Ambiente

1. Utilizando o mesmo deployment network-test-cluster-1 da seção NodePort, criar um serviço do tipo LoadBalancer, porém como um Internal Load Balancer:

   1. Criar um arquivo yaml com as informações abaixo e realizar o kubectl apply no cluster-2:

Validando Comunicação

1. Recupere o IP interno do serviço internal-network-test-cluster-2-lb <INTERNAL_IP>:

   1. kubectl get svc internal-network-test-cluster-2-lb -o jsonpath='{.status.loadBalancer.ingress[*].ip}'

   2. ou observe o serviço e espere pelo EXTERNAL-IP através do comando a seguir. Isso retornará o IP do load balancer no qual você conseguirá conectar ao serviço.

       

       

      $ watch kubectl get service NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE internal-network-test-cluster-2-lb 10.0.0.10 192.168.0.181 80:30000/TCP 5m

2. No cluster-1, crie um Pod temporário com o netshoot

   1. kubectl run tmp-shell --rm -i --tty --image nicolaka/netshoot

3. No netshoot(cluster-1), realizar uma chamada para ao IP interno criado pelo serviço do cluster-2

   1. curl http://<INTERNAL_IP>/?echo_env_body=HOSTNAME

Resultado Esperado

Um IP da rede interna é reservado para o load balancer. A requisição será roteada do pod tmp-shell do cluster-1 diretamente até o IP do load-balancer do cluster-2, não precisando sair da rede interna da Cloud. A seguir, a requisição é redirecionada para um dos pods do deployment desse serviço, o qual retornará o seu hostname.

Ao executar o curl diversas vezes, em cada vez ele retornará um nome pod diferente do cluster-2, pois o load balancer do serviço está encarregado de fazer o balanceamento de carga.

Segue exemplo do retorno esperado (note que cada chamada retorna um hostname/pod diferente):

 

---

Comparativo