• 热门搜索 热门搜索
菜单

您现在的位置是:博客 > 文章详情文章详情

k8s "command failed" err="failed to parse kubelet flag: unknown flag: --network-plugin"

原创
时间2023/09/02 00:44:38 发布 预览数量1023
分类: docker k8s 标签: k8s

一、问题描述

服务器夜间异常断电后在k8s Master主节点发现挂了。并且所有的容器都起不来,乍一看头皮发麻,没办法只能一步一步的排查问题了。

[root@t224yuntu1 ~]# kubectl get node
E0901 09:29:47.011209    9042 memcache.go:265] couldn't get current server API group list: Get "https://10.1.20.224:6443/api?timeout=32s": dial tcp 10.1.20.224:6443: connect: connection refused
E0901 09:29:47.011679    9042 memcache.go:265] couldn't get current server API group list: Get "https://10.1.20.224:6443/api?timeout=32s": dial tcp 10.1.20.224:6443: connect: connection refused
E0901 09:29:47.013172    9042 memcache.go:265] couldn't get current server API group list: Get "https://10.1.20.224:6443/api?timeout=32s": dial tcp 10.1.20.224:6443: connect: connection refused
E0901 09:29:47.014891    9042 memcache.go:265] couldn't get current server API group list: Get "https://10.1.20.224:6443/api?timeout=32s": dial tcp 10.1.20.224:6443: connect: connection refused
E0901 09:29:47.015849    9042 memcache.go:265] couldn't get current server API group list: Get "https://10.1.20.224:6443/api?timeout=32s": dial tcp 10.1.20.224:6443: connect: connection refused
The connection to the server 10.1.20.224:6443 was refused - did you specify the right host or port?

二、解决思路

1、检查环境变量情况(正常)

env | grep -i kub

检查环境变量情况

2、检查docker服务(正常)

systemctl status docker.service

检查docker服务

3、检查kubelet服务(异常)

systemctl status kubelet.service

检查kubelet服务

发现 kubelet.service起不来,如下:

[root@t224yuntu1 ~]# systemctl status kubelet.service
● kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
  Drop-In: /usr/lib/systemd/system/kubelet.service.d
           └─10-kubeadm.conf
   Active: activating (auto-restart) (Result: exit-code) since 五 2023-09-01 09:36:28 CST; 2s ago
     Docs: https://kubernetes.io/docs/
  Process: 9544 ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS (code=exited, status=1/FAILURE)
 Main PID: 9544 (code=exited, status=1/FAILURE)

9月 01 09:36:28 t224yuntu1 systemd[1]: kubelet.service: main process exited, code=exited, status=1/FAILURE
9月 01 09:36:28 t224yuntu1 systemd[1]: Unit kubelet.service entered failed state.
9月 01 09:36:28 t224yuntu1 systemd[1]: kubelet.service failed.

我们尝试通过 journalctl -xeu kubelet 来查询日志,日志内容如下:

[root@t224yuntu1 ~]# journalctl -xeu kubelet
-- 
-- The start-up result is done.
9月 01 09:36:48 t224yuntu1 kubelet[9571]: E0901 09:36:48.727154    9571 run.go:74] "command failed" err="failed to parse kubelet flag: unknown flag: --network-plugin"
9月 01 09:36:48 t224yuntu1 systemd[1]: kubelet.service: main process exited, code=exited, status=1/FAILURE
9月 01 09:36:48 t224yuntu1 systemd[1]: Unit kubelet.service entered failed state.
9月 01 09:36:48 t224yuntu1 systemd[1]: kubelet.service failed.
9月 01 09:36:58 t224yuntu1 systemd[1]: kubelet.service holdoff time over, scheduling restart.
9月 01 09:36:58 t224yuntu1 systemd[1]: Stopped kubelet: The Kubernetes Node Agent.
-- Subject: Unit kubelet.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
-- 
-- Unit kubelet.service has finished shutting down.
9月 01 09:36:58 t224yuntu1 systemd[1]: Started kubelet: The Kubernetes Node Agent.
-- Subject: Unit kubelet.service has finished start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
-- 
-- Unit kubelet.service has finished starting up.
-- 
-- The start-up result is done.
9月 01 09:36:58 t224yuntu1 kubelet[9585]: E0901 09:36:58.980725    9585 run.go:74] "command failed" err="failed to parse kubelet flag: unknown flag: --network-plugin"
9月 01 09:36:58 t224yuntu1 systemd[1]: kubelet.service: main process exited, code=exited, status=1/FAILURE
9月 01 09:36:58 t224yuntu1 systemd[1]: Unit kubelet.service entered failed state.
9月 01 09:36:58 t224yuntu1 systemd[1]: kubelet.service failed.
9月 01 09:37:09 t224yuntu1 systemd[1]: kubelet.service holdoff time over, scheduling restart.
9月 01 09:37:09 t224yuntu1 systemd[1]: Stopped kubelet: The Kubernetes Node Agent.
-- Subject: Unit kubelet.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
-- 
-- Unit kubelet.service has finished shutting down.
9月 01 09:37:09 t224yuntu1 systemd[1]: Started kubelet: The Kubernetes Node Agent.
-- Subject: Unit kubelet.service has finished start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
-- 
-- Unit kubelet.service has finished starting up.
-- 
-- The start-up result is done.
9月 01 09:37:09 t224yuntu1 kubelet[9596]: E0901 09:37:09.237987    9596 run.go:74] "command failed" err="failed to parse kubelet flag: unknown flag: --network-plugin"
9月 01 09:37:09 t224yuntu1 systemd[1]: kubelet.service: main process exited, code=exited, status=1/FAILURE
9月 01 09:37:09 t224yuntu1 systemd[1]: Unit kubelet.service entered failed state.
9月 01 09:37:09 t224yuntu1 systemd[1]: kubelet.service failed.

三、原因分析

根据日志可以初步判断,应该是网络模块除了问题,kebelet重启后,启动网络插件的命令无法执行。然后我又分别在master和node节点上查看下kubelet的版本,结果发现了问题:
原因分析

即master节点的 kubeadm、kubelet、kubernetes-cni、kubectl和node节点的版本不一致,且master节点使用的版本的高于node节点。

四、解决办法

我尝试将 master 节点和 node 节点的版本统一一下。

yum downgrade   kubeadm-1.23.0-0.x86_64 kubectl-1.23.0-0.x86_64 kubelet-1.23.0-0.x86_64

完成后重启kubelet

systemctl restart kubelet.service
systemctl daemon-reload

最后我们在看下k8s 服务的状态
K8s服务运行状态

大功告成!

版权声明:本文为Converts的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://www.converts.cn/article/3443750.html

暂无评论

暂无评论

推荐阅读

  • 对比MySQL不同版本下表结构和数据存储的差异

    一、前言 在开始之前, 我们需要先了解一下 MySQL 的存储引擎有哪些。 MySQL常用的存储引擎有 InnoDB 和 MyISAM,而且两者都有各自的特点,适用于不同的场景。下面是对这两种存储引擎的简要对比: InnoDB存储引擎 支持事务处理 支持行级锁 支持外键约束 可以根据事务日志实现数据恢复 MyISAM存储引擎 MyISAM 的读取性能要高于 InnoDB(无事务) 支持全文索引

  • Linux系统定时任务 -- crontab命令

    一、前言 有时候需要在 Linux 系统中定时执行一些任务,我们就需要使用 crontab 命令创建定时任务。crontab 是“cron table”的缩写,其功能是管理定时计划任务。在Linux系统中的crond是一个定时计划任务服务,用户只要能够按照正确的格式(分、时、日、月、星期、命令)写入到配置文件中,那么就会按照预定的周期时间自动地执行下去,而crontab命令则是用于配置的工具名称

  • Js验证身份证号码是否正确

    一、前言 一般情况下,提交数据时, 会对要提交的数据进行各种验证,其他的验证我这里就不讲了,现在网上有很多, 我要讲的是对身份证的验证, 我看大部分对身份证的验证都是对身份证的位数进行验证(例如:15位或者18位), 这个其实是不太准确地,在一些系统中, 以身份证为唯一标识的话, 身份证错误会造成很大的问题, 所以我们要增加身份证的验证。接下来我们先普及一下我们国家对 身份证的产生规则 做一下了

  • Docker容器的资源大小限制(CPU、内存、磁盘)

    一、前言 Docker 容器的资源分配往往是最容易被人忽略的参数点,一般情况下不会有太大问题,但是只要出现问题就是灾难性的。 如果 Docker 容器在创建时没有明确设置 memory 参数,那么它的内存限制将取决于操作系统和 Docker 引擎的默认配置。在某些情况下,如果没有明确设置内存限制,容器可能会尝试使用尽可能多的可用内存,这可能会导致性能问题或资源争用。 这似乎看上去并没有什么太

  • Docker 部署FastTunnel,实现内网穿透

    一、前言 最近在学习搭建Elasticsearch集群,但是发现云服务(2核4G)资源根本就不够用,部署上去就直接宕机了。想着服务器资源太贵, 家里刚好有一台64G内存的闲置电脑。不如做一个内网穿透,可以远程访问。工作学习两不误。其实目前市面上已经有很多穿透工具了,比如向日葵~~ ,但是奈何带宽太小了,免费的才1M~~~ 二、什么是 FastTunnel FastTunnel 是用.net

  • 解决:“The configured user limit (128) on the number of inotify instances has been reached....” 错误

    一、场景再现 在linux系统上运行着10个微服务,突然发现某个服务挂了。遇到这种情况,一般就使用命令docker start 就可以解决。 然而发现命令无法使服务起来。根据跟踪容器日志发现是出现了异常,如下所示: shell Unhandled exception. System.IO.IOException: The configured user limit (128) on the nu

  • Docker 安装mysql

    一、创建mysql 容器 shell docker run \d \ 后台运行-restart=always \总是跟随docker启动-privileged=true\获取宿主机root权限p 13306:3306 name mysql \ 容器与主机映射端口为,主机13306,容器3306v /mysql/log:/var/log/mysql \ 容器运行后的名称v /mysql/data:

  • validate service connection: CRI v1 runtime API is not implemented for endpoint \"unix:///var/run/containerd/containerd.sock\": rpc error: code = Unimplemented desc = unknown service runtime.v1.RuntimeService

    一、问题 安装k8s集群, Node节点加入主节点的时候(kubeadm join...),报错,报错信息如下: shell [root@node1 ~] kubeadm join k8s-master:6443 token 4nm8cy.jgxw8go95c1uqt6c discovery-token-ca-cert-hash sha256:f1c08bce4ebeb8deb531b950

  • k8s 安装ingress,并解决拉取镜像失败的问题

    一、前言 Service 是将运行在一组 Pods 上的应用程序公开为网络服务的抽象方法,但是Service 只能在内网间访问(NodePort方式用的较少), 那么外网的路由请求如何发送到 Service 上呢? k8s 为我们提供了 Ingress 网关服务。 二、什么是Ingress ? Ingress 公开从集群外部到集群内服务的 HTTP 和 HTTPS 路由。 流量路由由 Ing

  • ssh 免密登录

    一、前言 SSH(Secure Shell)免密登录是一种安全便捷的远程登录方式,允许用户在不输入密码的情况下连接到远程Linux服务器。它通过密钥认证来实现登录,这种方法可以提高工作效率,同时加强系统的安全性。 二、秘钥的存放位置 一般秘钥都存放在用户的根目录下 ~/.ssh,如下图所示 ! .ssh 目录下一般会有两个文件 idrsa:私钥 、 idrsa.pub:公钥。 !

加载中