Depuración con oc debug

Utilice el mandato oc debug node para desplegar un pod con un securityContext con privilegios en un nodo trabajador cuyos problemas desee resolver.

El pod de depuración se despliega con un shell interactivo para que pueda acceder al nodo trabajador inmediatamente después de que se haya creado el pod. Para obtener más información sobre cómo funciona el mandato oc debug node, consulte esta entrada de blog de Red Hat.

1. Obtenga el nombre del nodo trabajador al que desea acceder. Para los nodos de trabajador de CoreOS, el nombre es el nombre de host del trabajador. Para todos los demás nodos de trabajador, el nombre del nodo de trabajador es la dirección IP privada.

   oc get nodes -o wide
   

2. Cree un pod de depuración que tenga acceso de host. Cuando se crea el pod, el shell interactivo del pod se abre automáticamente. Si el mandato oc debug node falla, continúe en la opción 2.

   oc debug node/<NODE_NAME>
   

   Si el mandato oc debug node/<NODE_NAME> falla, es posible que haya reglas de grupo de seguridad, ACL o cortafuegos que impidan extraer la imagen de contenedor predeterminada. Vuelve a ejecutar el comando con la opción « --image=us.icr.io/armada-master/network-alpine:latest », que utiliza una imagen de IBM Cloud Container Registry a la que se puede acceder a través de la red privada.

3. Ejecute mandatos de depuración como ayuda para recopilar información y resolver problemas. Los mandatos que puede utilizar para depurar, como tcpdump, curl, ip, ifconfig, nc, ping y ps, ya están disponibles en el shell. También puedes instalar otras herramientas, como mtr y conntrack, ejecutando yum install <tool>.

Depuración con kubectl exec

Si no puede utilizar el mandato oc debug node, puede crear un pod Alpine con un securityContext con privilegios y utilizar el mandato kubectl exec para ejecutar mandatos de depuración desde el shell interactivo del pod.

1. Obtenga el nombre del nodo trabajador al que desea acceder. Para los nodos de trabajador de CoreOS, el nombre es el nombre de host del trabajador. Para todos los demás nodos de trabajador, el nombre del nodo de trabajador es la dirección IP privada.

   oc get nodes -o wide
   

2. Exporte el nombre en una variable de entorno.

   export NODE=<NODE_NAME>
   

3. Cree un pod de depuración en el nodo trabajador. La imagen de Docker Alpine aquí se utiliza como un ejemplo. Si el nodo de trabajo no tiene acceso a la red pública, puedes guardar una copia de la imagen en tu propio repositorio ICR para la depuración o crear una imagen personalizada con otras herramientas que se adapte a tus necesidades.

   kubectl apply -f - << EOF
   apiVersion: v1
   kind: Pod
   metadata:
     name: debug-${NODE}
     namespace: default
   spec:
     tolerations:
     - operator: "Exists"
     hostNetwork: true
     containers:
     - args: ["-c", "sleep 20d"]
       command: ["/bin/sh"]
       image: us.icr.io/armada-master/network-alpine:latest
       imagePullPolicy: Always
       name: debug
       securityContext:
         privileged: true
       volumeMounts:
       - mountPath: /host
         name: host-volume
     volumes:
     - name: host-volume
       hostPath:
         path: /
     nodeSelector:
       kubernetes.io/hostname: ${NODE}
     restartPolicy: Never
   EOF
   

4. Inicie sesión en el pod de depuración. El shell interactivo del pod se abre automáticamente. Si el mandato kubectl exec falla, continúe en la opción 3.

   kubectl exec -it debug-${NODE} -- sh
   

   Para obtener los registros u otros archivos de un nodo de trabajo, utiliza el comando « **kubectl cp** » con el siguiente formato. En el siguiente ejemplo se obtiene el archivo « /var/log/messages » del sistema de archivos del nodo de trabajo.

   oc cp default/debug-${NODE}:/host/var/log/messages ./messages
   

   Obtenga los siguientes registros para buscar problemas en el nodo de trabajador.

   /var/log/messages
   /var/log/kubelet.log
   /var/log/crio.log
   /var/log/calico/cni/cni.log
   

5. Ejecute mandatos de depuración como ayuda para recopilar información y resolver problemas. Comandos que podrías utilizar para depurar, como dig, tcpdump, mtr, curl, ip, ifconfig, nc, ping y ps, ya están disponibles en el shell. También puedes instalar otras herramientas, como conntrack, ejecutando apk add <tool>. Por ejemplo, para añadir conntrack, ejecuta apk add conntrack-tools.

6. Suprima el pod de acceso a host que ha creado para la depuración.

   kubectl delete pod debug-${NODE}
   

Depuración habilitando el acceso SSH root en un nodo trabajador

Si no puede utilizar los mandatos oc debug node o kubectl exec, como por ejemplo si la conexión VPN entre el nodo maestro y los nodos trabajadores del clúster está inactiva, puede crear un pod que permita el acceso SSH root y copie una clave SSH pública en el nodo trabajador para el acceso SSH.

Permitir el acceso SSH root es un riesgo de seguridad. Permita solo el acceso SSH cuando sea necesario y no haya ninguna otra opción disponible para resolver los problemas del nodo trabajador. Cuando termine la resolución de problemas, asegúrese de seguir los pasos de la sección Limpieza después de la depuración para inhabilitar el acceso SSH.

1. Elija una clave SHH pública existente o cree una nueva.

   ssh-keygen -f /tmp/id_rsa_cluster_worker -t rsa -b 4096 -C temp-worker-ssh-key -P ''
   ls /tmp
   

   id_rsa_cluster_worker id_rsa_cluster_worker.pub
   

   cat /tmp/id_rsa_cluster_worker.pub
   

2. Obtenga el nombre del nodo trabajador al que desea acceder. Para los nodos de trabajador de CoreOS, el nombre es el nombre de host del trabajador. Para todos los demás nodos de trabajador, el nombre del nodo de trabajador es la dirección IP privada.

   oc get nodes -o wide
   

3. Cree el archivo YAML siguiente para un pod de depuración y guarde el archivo como enable-ssh.yaml. Sustituya <NODE_NAME> por el nombre de nodo de trabajador y sustituya el ejemplo value de SSH_PUBLIC_KEY por la clave SSH pública. La imagen de Docker Alpine aquí se utiliza como un ejemplo. Si el nodo de trabajo no tiene acceso a la red pública, puedes guardar una copia de la imagen en tu propio repositorio ICR para la depuración o crear una imagen personalizada con otras herramientas que se adapte a tus necesidades.

   apiVersion: v1
   kind: Pod
   metadata:
     name: enable-ssh-<NODE_NAME>
     labels:
       name: enable-ssh
   spec:
     tolerations:
     - operator: "Exists"
     hostNetwork: true
     hostPID: true
     hostIPC: true
     containers:
     - image: us.icr.io/armada-master/network-alpine:latest
       env:
       - name: SSH_PUBLIC_KEY
         value: "<ssh-rsa AAA...ZZZ temp-worker-ssh-key>"
       args: ["-c", "echo $(SSH_PUBLIC_KEY) | tee -a /root/.ssh/authorized_keys && sed -i 's/^#*PermitRootLogin.*/PermitRootLogin yes/g' /host/etc/ssh/sshd_config && sed -i 's/^#*PermitRootLogin.*/PermitRootLogin yes/g' /host/etc/ssh/sshd_config.d/40-rhcos-defaults.conf || true && killall -1 sshd || yes n | ssh-keygen -f /host/etc/ssh/ssh_host_rsa_key -t rsa -b 4096 -C temp-server-ssh-key -P '' && while true; do sleep 86400; done"]
       command: ["/bin/sh"]
       name: enable-ssh
       securityContext:
         privileged: true
       volumeMounts:
       - mountPath: /host
         name: host-volume
       - mountPath: /root/.ssh
         name: ssh-volume
     volumes:
     - name: host-volume
       hostPath:
         path: /
     - name: ssh-volume
       hostPath:
         path: /root/.ssh
     nodeSelector:
       kubernetes.io/hostname: <NODE_NAME>
     restartPolicy: Never
   

4. Cree el pod en el clúster. Cuando se crea este pod, la clave pública se añade al nodo trabajador y SSH se configura para permitir el inicio de sesión SSH root.

   oc apply -f enable-ssh.yaml
   

5. Utilice la red privada o pública para acceder al nodo trabajador utilizando la clave SSH.