통합 가시성 플러그인 에이전트 제거하기

• ob plugin 지원이 종료된 후에는 각 구성 요소를 개별적으로 삭제해야 합니다.

  1. 데몬셋과 컨피그맵을 정리합니다.

      kubectl delete daemonset logdna-agent -n ibm-observe
      kubectl delete daemonset sysdig-agent -n ibm-observe
      kubectl delete configmap <logdna-configmap> -n ibm-observe
      kubectl delete configmap <sysdig-configmap> -n ibm-observe
      ```
  1. 선택 사항입니다: 네임스페이스를 삭제합니다. 네임스페이스에서 다른 리소스가 실행되고 있지 않은 경우.
  ```sh {: pre}
      kubectl delete namespace ibm-observe
      ```
  

플러그인을 제거한 후, 클러스터 대시보드, Terraform 또는 수동으로 클러스터에 로깅 및 모니터링 에이전트를 다시 설치하십시오.

자세한 내용은 다음 링크를 참조하십시오.

• IBM Cloud 로 IBM Cloud Kubernetes Service 로그 데이터 보내기
• Kubernetes 클러스터 모니터링

외부 서버로의 로그 전달 이해

클러스터 내의 소스에 대해 외부 서버로 전달할 로깅 구성을 생성하면, Fluentd 클러스터 내에 해당 구성 요소가 생성됩니다. Fluentd는 소스의 경로에서 로그를 수집하고 외부 서버로 로그를 전달합니다. 소스에서 로깅 서비스로의 트래픽은 유입 포트에서 암호화됩니다.

로그 전달을 설정할 수 있는 소스는 무엇인가요?

다음 이미지에서, 로깅 설정을 구성할 수 있는 소스 영역을 확인할 수 있습니다.

1. worker: 작업자 노드에 대해 보유하고 있는 인프라 구성에 특정한 정보입니다. syslog 에는 작업자 로그가 기록되며, 여기에는 운영 체제 이벤트가 포함됩니다. auth.log에서는 OS에 대해 작성된 인증 요청에 대한 정보를 찾을 수 있습니다.

   경로

   • /var/log/syslog
   • /var/log/auth.log

2. container: 실행 중인 컨테이너에 의해 기록되는 정보. 경로: STDOUT 또는 STDERR 에 기록되는 모든 내용.

3. application: 애플리케이션 레벨에서 발생하는 이벤트에 대한 정보입니다. 이는 로그인 성공, 저장 공간 관련 경고, 또는 앱 수준에서 수행할 수 있는 기타 작업과 같은 이벤트 발생을 알리는 알림일 수 있습니다. 경로: 로그가 전달될 경로를 설정할 수 있습니다. 그러나 로그를 전송하려면 로깅 구성에서 절대 경로를 사용해야 합니다. 그렇지 않으면 로그를 읽을 수 없습니다. 경로가 워커 노드에 마운트되어 있다면, 심볼릭 링크가 생성되었을 수 있습니다. 예시: 지정된 경로가 /usr/local/spark/work/app-0546/0/stderr 인데, 실제로 로그가 /usr/local/spark-1.0-hadoop-1.2/work/app-0546/0/stderr 에 저장되는 경우, 해당 로그를 읽을 수 없습니다.

4. storage: 클러스터에서 설정된 지속적 스토리지에 대한 정보. 스토리지 로그를 사용하면 DevOps 파이프라인 및 프로덕션 릴리스의 일부로서 문제점 판별 대시보드 및 경보를 설정하는 데 도움이 될 수 있습니다. 참고: 경로 /var/log/kubelet.log 및 /var/log/syslog에는 스토리지 로그도 포함되어 있지만, 이러한 경로의 로그는 kubernetes 및 worker 로그 소스에 의해 수집됩니다.

   경로

   /var/log/ibmc-s3fs.log

   /var/log/ibmc-block.log

   팟(Pod)

   portworx-***

   ibmcloud-block-storage-attacher-***

   ibmcloud-block-storage-driver-***

   ibmcloud-block-storage-plugin-***

   ibmcloud-object-storage-plugin-***

5. kubernetes: kubelet, kube-proxy, 그리고 작업자 노드의 kube-system 네임스페이스에서 발생한 기타 Kubernetes 이벤트의 정보입니다.

   경로

   /var/log/kubelet.log

   /var/log/kube-proxy.log

   /var/log/event-exporter/1..log

6. ingress: Ingress ALB를 통해 클러스터로 들어오는 네트워크 트래픽에 대한 정보입니다.

   경로

   /var/log/alb/ids/*.log

   /var/log/alb/ids/*.err

   /var/log/alb/customerlogs/*.log

   /var/log/alb/customerlogs/*.err

7. kube-audit: 시간, 사용자 및 영향을 받은 리소스를 포함하여 Kubernetes API 서버로 전송된 클러스터 관련 조치에 대한 정보입니다. kube-audit 소스는 Webhook로 구성할 수 있습니다. 자세한 정보는 외부 서버에 Kubernetes API 감사 로그 전달을 참조하십시오.

Fluentd 를 최신 상태로 유지하는 것은 제 책임인가요?

로깅 또는 필터 구성을 변경하려면 Fluentd 로깅 컴포넌트가 최신 버전이어야 합니다. 기본적으로는 추가 기능에 대한 자동 업데이트가 사용됩니다. 자동 업데이트를 사용하지 않으려면 클러스터 컴포넌트 업데이트: 로깅을 위한 Fluentd를 참조하십시오.

클러스터 내의 한 소스에서 일부 로그만 전달하고 다른 로그들은 전달하지 않도록 설정할 수 있나요?

예. 예를 들어, 특별히 로그가 많이 생성되는 팟(Pod)이 있는 경우에는 해당 팟(Pod)이 로그 스토리지 공간을 차지하지 않도록 하면서 다른 팟(Pod)의 로그는 전달되도록 할 수 있습니다. 특정 팟(Pod)의 로그가 전달되지 않도록 하려면 로그 필터링을 참조하십시오.

클러스터 및 앱 로그 전달

클러스터 및 앱 로깅에 대한 구성을 작성하십시오. options를 사용하면 다양한 로깅 옵션을 구분할 수 있습니다.

다음 표는 로깅을 구성할 때 이용할 수 있는 다양한 옵션과 이에 대한 설명을 보여줍니다.

udp 또는 tcp 프로토콜을 통해 고유 서버에 로그 전달

1. 편집자 또는 관리자 IBM Cloud IAM 플랫폼 액세스 역할이 있는지 확인하십시오.

2. 로그 소스가 있는 클러스터의 경우 계정에 로그인하십시오. If applicable, target the appropriate resource group. 클러스터에 대한 컨텍스트를 설정하십시오.

3. 다음 두 가지 방법 중 하나를 사용하여 syslog 프로토콜을 지원하는 서버를 설정합니다: : 자체 서버를 설정하여 관리하거나 제공자가 관리하도록 하십시오. 제공자가 사용자 대신 서버를 관리하는 경우 로깅 제공자로부터 로깅 엔드포인트를 가져오십시오.

   : 컨테이너에서 syslog 을 실행합니다. 예를 들어, 이 배포.yaml 파일을 사용하면 클러스터 내에서 컨테이너를 실행하는 Docker 공개 이미지를 가져올 수 있습니다. 이미지는 공용 클러스터 IP 주소에 포트 514를 공개하고 이 공용 클러스터 IP 주소를 사용하여 syslog 호스트를 구성합니다.

   syslog 접두사를 제거하면 로그를 유효한 JSON 형식으로 확인할 수 있습니다. 이를 위해, rsyslog 서버가 실행되는 위치의 etc/rsyslog.conf 파일 맨 앞에 다음 코드를 추가하십시오: $template customFormat,"%msg%\n"$ActionFileDefaultTemplate customFormat

4. 로그 전달 구성을 작성하십시오. 매개변수에 대한 자세한 정보는 로깅 구성 옵션 테이블 이해를 참조하십시오.

   ibmcloud ks logging config create --cluster CLUSTER_NAME_OR_ID --logsource LOG_SOURCE --namespace KUBERNETES_NAMESPACE --hostname LOG_SERVER_HOSTNAME_OR_IP --port LOG_SERVER_PORT --type syslog --app-containers CONTAINER1,2 --app-paths PATHS_TO_LOGS --syslog-protocol PROTOCOL
   

tls 프로토콜을 통해 고유 서버에 로그 전달

1. 다음 IBM Cloud IAM 역할을 보유하고 있는지 확인하십시오.

   • 클러스터에 대한 편집자 또는 관리자 플랫폼 액세스 역할
   • ** 네임스페이스에 대한 작성자 또는 **관리자kube-system 서비스 액세스 역할

2. 로그 소스가 있는 클러스터의 경우 계정에 로그인하십시오. If applicable, target the appropriate resource group. 클러스터에 대한 컨텍스트를 설정하십시오.

3. 다음 두 가지 방법 중 하나를 사용하여 syslog 프로토콜을 지원하는 서버를 설정합니다:

   • 자체 서버를 설정하여 관리하거나 제공자가 관리하도록 하십시오. 제공자가 사용자 대신 서버를 관리하는 경우 로깅 제공자로부터 로깅 엔드포인트를 가져오십시오.

   • 컨테이너에서 syslog 을 실행합니다. 예를 들어, 이 배포.yaml 파일을 사용하면 클러스터에서 컨테이너를 실행하는 Docker 공개 이미지를 가져올 수 있습니다. 이 이미지는 공용 클러스터 IP 주소에 514 포트를 공개하며, 이 공용 클러스터 IP 주소를 사용하여 syslog 호스트를 구성합니다. 사용자는 관련 인증 기관 및 서버 측 인증서를 삽입하고 서버에서 syslog.conf를 사용할 수 있도록 tls를 업데이트해야 합니다.

4. 인증 기관 인증서를 ca-cert(이)라는 파일에 저장하십시오. 이름이 정확해야 합니다.

5. kube-system 파일에 대해 ca-cert 네임스페이스에서 시크릿을 작성하십시오. 로깅 구성을 생성할 때, ‘ --ca-cert ’ 옵션에 시크릿 이름을 사용하십시오.

   kubectl -n kube-system create secret generic --from-file=ca-cert
   

6. 로그 전달 구성을 작성하십시오. 매개변수에 대한 자세한 정보는 로깅 구성 옵션 테이블 이해를 참조하십시오.

   ibmcloud ks logging config create --cluster <cluster name or id> --logsource <log source> --type syslog --syslog-protocol tls --hostname <ip address of syslog server> --port <port for syslog server, 514 is default> --ca-cert <secret name> --verify-mode <defaults to verify-none>
   

전달되는 로그 필터링

일정 기간 동안 특정 로그를 필터링하여 외부 서버에 전달할 로그를 선택할 수 있습니다. options를 사용하면 다양한 필터링 옵션을 구분할 수 있습니다.

1. 로깅 필터를 작성하십시오.

   ibmcloud ks logging filter create --cluster CLUSTER_NAME_OR_ID --type LOG_TYPE --logging-configs CONFIGS --namespace KUBERNETES_NAMESPACE --container CONTAINER_NAME --level LOGGING_LEVEL --regex-message MESSAGE
   

2. 작성한 로그 필터를 보십시오.

   ibmcloud ks logging filter get --cluster CLUSTER_NAME_OR_ID --id FILTER_ID --show-matching-configs
   

3. 작성한 로그 필터를 업데이트하십시오.

   ibmcloud ks logging filter update --cluster CLUSTER_NAME_OR_ID --id FILTER_ID --type SERVER_TYPE --logging-configs CONFIGS --namespace KUBERNETES_NAMESPACE --container CONTAINER_NAME --level LOGGING_LEVEL --regex-message MESSAGE
   

4. 작성한 로그 필터를 삭제하십시오.

   ibmcloud ks logging filter rm --cluster CLUSTER_NAME_OR_ID --id FILTER_ID [--all]
   

로그 전달 확인, 업데이트 및 삭제

ibmcloud ks logging config update --cluster CLUSTER_NAME_OR_ID --id LOG_CONFIG_ID --namespace NAMESPACE --type SERVER_TYPE --syslog-protocol PROTOCOL --logsource SOURCE --hostname HOSTNAME_OR_INGESTION_URL --port PORT --app-containers CONTAINER1,2 --app-paths PATHS_TO_LOGS