移除可观察性插件代理

• ob plugin 支持结束后，您必须逐个删除每个组件。

  1. 清理守护进程和配置文件。

     kubectl delete daemonset logdna-agent -n ibm-observe
     kubectl delete daemonset sysdig-agent -n ibm-observe
     kubectl delete configmap <logdna-configmap> -n ibm-observe
     kubectl delete configmap <sysdig-configmap> -n ibm-observe
     

  2. 可选：删除命名空间。 在命名空间中没有其他资源可用之后。

     kubectl delete namespace ibm-observe
     

移除插件后，使用集群仪表板、Terraform或手动在集群中重新安装日志记录和监控代理。

有关更多信息，请参阅以下链接：

• 管理 IBM Cloud Kubernetes Service 集群的日志记录代理。
• 使用 Kubernetes 监控代理。

了解如何将日志转发到外部服务器

为集群中的源创建日志记录配置以转发到外部服务器时，将在集群中创建 Fluentd 组件。 Fluentd 从该源的路径收集日志，并将日志转发到外部服务器。 系统会对摄入端口上从源到日志记录服务的流量进行加密。

我可以为哪些来源配置日志转发？

在下图中，您可以看到可以配置日志记录的源区域。

1. worker：特定于工作程序节点基础架构配置的信息。 工作日志通过 syslog 捕捉，包含操作系统事件。 在 auth.log 中，可以找到有关对操作系统发出的认证请求的信息。

   路径

   • /var/log/syslog
   • /var/log/auth.log

2. container: 路径：运行中的容器记录的信息：写入 STDOUT 或 STDERR 的任何内容。

3. application：有关在应用程序级别发生的事件的信息。 这可能是发生事件的通知，如成功登录、有关存储的警告或其他可在应用程序级别执行的操作 ： 您可以设置日志转发的路径。 不过，要发送日志，必须在日志配置中使用绝对路径，否则无法读取日志。 如果您的路径已挂载到工作节点，则可能已创建了一个符号链接。 举例说明：如果指定的路径是 /usr/local/spark/work/app-0546/0/stderr，但日志实际流向 /usr/local/spark-1.0-hadoop-1.2/work/app-0546/0/stderr，则无法读取日志。

4. storage：有关集群中设置的持久性存储器的信息。 存储器日志可以帮助您将问题确定仪表板和警报设置为 DevOps 管道和生产发布的一部分。 注：路径 /var/log/kubelet.log 和 /var/log/syslog 也包含存储器日志，但这些路径中的日志由 kubernetes 和 worker 日志源进行收集。

   路径

   /var/log/ibmc-s3fs.log

   /var/log/ibmc-block.log

   Pod **

   portworx-***

   ibmcloud-block-storage-attacher-***

   ibmcloud-block-storage-driver-***

   ibmcloud-block-storage-plugin-***

   ibmcloud-object-storage-plugin-***

5. kubernetes：来自在工作程序节点的 kube-system 名称空间中所发生的 kubelet、kube-proxy 和其他 Kubernetes 事件的信息。

   路径

   /var/log/kubelet.log

   /var/log/kube-proxy.log

   /var/log/event-exporter/1..log

6. ingress:通过入口 ALB 进入群集的网络流量信息。

   路径

   /var/log/alb/ids/*.log

   /var/log/alb/ids/*.err

   /var/log/alb/customerlogs/*.log

   /var/log/alb/customerlogs/*.err

7. kube-audit：有关发送到 Kubernetes API 服务器的集群相关操作的信息，包括时间、用户和受影响的资源。 可以使用 Webhook 配置 kube-audit 源。 有关更多信息，请参阅 将 Kubernetes API 审计日志转发到外部服务器。

我有责任随时更新 Fluentd 吗？

要更改日志记录或过滤器配置，Fluentd 日志记录组件必须是最新版本。 缺省情况下，会启用附加组件的自动更新。 要禁用自动更新，请参阅更新集群组件：用于日志记录的 Fluentd。

能否从群集中的一个源转发某些日志，而不转发其他日志？

需要。 例如，如果您有一个通信特别频繁的 pod，您可能希望阻止该 pod 的日志占用日志存储空间，同时仍允许转发其他 pod 的日志。 要阻止转发特定 pod 的日志，请参阅过滤日志。

转发集群和应用程序日志

针对集群和应用程序日志记录创建配置。 您可以使用选项来区分不同的日志记录选项。

下表显示了配置日志记录时的不同选项及其描述。

通过 udp 或 tcp 协议将日志转发到自己的服务器上

1. 确保您具有 编辑者 或 管理员 IBM Cloud IAM 平台访问角色。

2. 日志源所在的群集：登录您的账户。 如果适用，请将相应的资源组设定为目标。 设置集群的上下文。

3. 设置一个服务器，以两种方式之一接受 syslog 协议：

   设置和管理您自己的服务器，或者让提供者为您管理服务器。 如果提供者为您管理服务器，请从日志记录提供者获取日志记录端点。

   从容器中运行 syslog 。 例如，您可以使用此 部署.yaml 文件获取在群集中运行容器的 Docker 公共映像。 该映像在公共集群 IP 地址上发布端口 514，并使用此公共集群 IP 地址来配置 syslog 主机。

   通过移除 syslog 前缀，您可以看到有效 JSON 格式的日志。 为此，请在 rsyslog 服务器运行的 etc/rsyslog.conf 文件开头添加以下代码：$template customFormat,"%msg%\n"$ActionFileDefaultTemplate customFormat

4. 创建日志转发配置。 有关参数的更多信息，请参阅 了解日志记录配置选项表。

   ibmcloud ks logging config create --cluster <cluster_name_or_ID> --logsource <log_source> --namespace <kubernetes_namespace> --hostname <log_server_hostname_or_IP> --port <log_server_port> --type syslog --app-containers <container1,2> --app-paths <paths_to_logs> --syslog-protocol <protocol> --skip-validation
   

通过 tls 协议将日志转发到自己的服务器上

1. 确保您具有以下 IBM Cloud IAM 角色：

   • 群集的编辑器或管理员平台访问角色
   • 编写者或经理服务访问角色 kube-system 命名空间

2. 日志源所在的群集：登录您的账户。 如果适用，请将相应的资源组设定为目标。 设置集群的上下文。

3. 设置一个服务器，以两种方式之一接受 syslog 协议：

   • 设置和管理您自己的服务器，或者让提供者为您管理服务器。 如果提供者为您管理服务器，请从日志记录提供者获取日志记录端点。

   • 从容器中运行 syslog。 例如，您可以使用此 部署.yaml 文件获取在群集中运行容器的 Docker 公共映像。 映像会在公共群集 IP 地址上发布端口 514，并使用此公共群集 IP 地址配置 syslog 主机。 您需要注入相关认证中心和服务器端证书，并更新 syslog.conf 以在服务器上启用 tls。

4. 将认证中心证书保存到名为 ca-cert 的文件。 必须是那个确切的名字。

5. 在 kube-system 名称空间中为 ca-cert 文件创建私钥。 创建日志配置时，请使用 --ca-cert 选项的密名。

   kubectl -n kube-system create secret generic --from-file=ca-cert
   

6. 创建日志转发配置。 有关参数的更多信息，请参阅 了解日志记录配置选项表。

   ibmcloud ks logging config create --cluster <cluster name or id> --logsource <log source> --type syslog --syslog-protocol tls --hostname <ip address of syslog server> --port <port for syslog server, 514 is default> --ca-cert <secret name> --verify-mode <defaults to verify-none>
   

过滤转发的日志

可以通过过滤掉某段时间内的特定日志来选择要转发到外部服务器的日志。 您可以使用选项来区分不同的过滤选项。

1. 创建日志记录过滤器。

   ibmcloud ks logging filter create --cluster <cluster_name_or_ID> --type <log_type> --logging-configs <configs> --namespace <kubernetes_namespace> --container <container_name> --level <logging_level> --regex-message <message>
   

2. 查看创建的日志过滤器。

   ibmcloud ks logging filter get --cluster <cluster_name_or_ID> --id <filter_ID> --show-matching-configs
   

3. 更新创建的日志过滤器。

   ibmcloud ks logging filter update --cluster <cluster_name_or_ID> --id <filter_ID> --type <server_type> --logging-configs <configs> --namespace <kubernetes_namespace --container <container_name> --level <logging_level> --regex-message <message>
   

4. 删除创建的日志过滤器。

   ibmcloud ks logging filter rm --cluster <cluster_name_or_ID> --id <filter_ID> [--all]
   

验证、更新和删除日志转发

ibmcloud ks logging config update --cluster <cluster_name_or_ID> --id <log_config_id> --namespace <namespace> --type <server_type> --syslog-protocol <protocol> --logsource <source> --hostname <hostname_or_ingestion_URL> --port <port> --app-containers <container1,2> --app-paths <paths_to_logs>