[解決済み] kubernetes UnexpectedAdmissionError ロールアウト後。

質問

あるサービスがHTTPリクエストへの応答に失敗することがありました。 proxy サービス

'proxy' failed to resolve 'proxy.default.svc.cluster.local' after 2 queries

というわけで、何も問題が見つからなかったので、試しに kubectl rollout restart deployment/backend . その直後、ポッドリストにこれらが表示されました。

backend-54769cbb4-xkwf2              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-xlpgf              0/1     UnexpectedAdmissionError   0          4h4m
backend-54769cbb4-xmnr5              0/1     UnexpectedAdmissionError   0          4h7m
backend-54769cbb4-xmq5n              0/1     UnexpectedAdmissionError   0          4h7m
backend-54769cbb4-xphrw              0/1     UnexpectedAdmissionError   0          4h5m
backend-54769cbb4-xrmrq              0/1     UnexpectedAdmissionError   0          4h1m
backend-54769cbb4-xrmw8              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-xt4ck              0/1     UnexpectedAdmissionError   0          4h4m
backend-54769cbb4-xws8r              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-xx6r4              0/1     UnexpectedAdmissionError   0          4h5m
backend-54769cbb4-xxpfd              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-xzjql              0/1     UnexpectedAdmissionError   0          4h4m
backend-54769cbb4-xzzlk              0/1     UnexpectedAdmissionError   0          4h7m
backend-54769cbb4-z46ms              0/1     UnexpectedAdmissionError   0          4h5m
backend-54769cbb4-z4sl7              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-z6jpj              0/1     UnexpectedAdmissionError   0          4h5m
backend-54769cbb4-z6ngq              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-z8w4h              0/1     UnexpectedAdmissionError   0          4h5m
backend-54769cbb4-z9jqb              0/1     UnexpectedAdmissionError   0          4h3m
backend-54769cbb4-zbvqm              0/1     UnexpectedAdmissionError   0          4h2m
backend-54769cbb4-zcfxg              0/1     UnexpectedAdmissionError   0          4h3m
backend-54769cbb4-zcvqm              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-zf2f8              0/1     UnexpectedAdmissionError   0          4h2m
backend-54769cbb4-zgnkh              0/1     UnexpectedAdmissionError   0          4h7m
backend-54769cbb4-zhdr8              0/1     UnexpectedAdmissionError   0          4h2m
backend-54769cbb4-zhx6g              0/1     UnexpectedAdmissionError   0          4h7m
backend-54769cbb4-zj8f2              0/1     UnexpectedAdmissionError   0          4h3m
backend-54769cbb4-zjbwp              0/1     UnexpectedAdmissionError   0          4h5m
backend-54769cbb4-zjc8g              0/1     UnexpectedAdmissionError   0          4h3m
backend-54769cbb4-zjdcp              0/1     UnexpectedAdmissionError   0          4h4m
backend-54769cbb4-zkcrb              0/1     UnexpectedAdmissionError   0          4h7m
backend-54769cbb4-zlpll              0/1     UnexpectedAdmissionError   0          4h2m
backend-54769cbb4-zm2cx              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-zn7mr              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-znjkp              0/1     UnexpectedAdmissionError   0          4h3m
backend-54769cbb4-zpnk7              0/1     UnexpectedAdmissionError   0          4h2m
backend-54769cbb4-zrrl7              0/1     UnexpectedAdmissionError   0          4h2m
backend-54769cbb4-zsdsz              0/1     UnexpectedAdmissionError   0          4h4m
backend-54769cbb4-ztdx8              0/1     UnexpectedAdmissionError   0          4h2m
backend-54769cbb4-ztln6              0/1     UnexpectedAdmissionError   0          4h2m
backend-54769cbb4-ztplg              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-ztzfh              0/1     UnexpectedAdmissionError   0          4h2m
backend-54769cbb4-zvb8g              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-zwsr8              0/1     UnexpectedAdmissionError   0          4h7m
backend-54769cbb4-zwvxr              0/1     UnexpectedAdmissionError   0          4h5m
backend-54769cbb4-zwx6h              0/1     UnexpectedAdmissionError   0          4h6m
backend-54769cbb4-zz4bf              0/1     UnexpectedAdmissionError   0          4h1m
backend-54769cbb4-zzq6t              0/1     UnexpectedAdmissionError   0          4h2m

(その他多数)

それで、さらに2つのノードを追加しました。今では、理解できないエラー状態のポッドの大きなリストを除いて、すべてがうまくいっているように見えます。これは何でしょう？ UnexpectedAdmissionError そして、どうしたらいいのでしょうか？

注：これはDigitalOceanのクラスタです

Client Version: version.Info{Major:"1", Minor:"15", GitVersion:"v1.15.3", GitCommit:"2d3c76f9091b6bec110a5e63777c332469e0cba2", GitTreeState:"clean", BuildDate:"2019-08-19T12:38:36Z", GoVersion:"go1.12.9", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"15", GitVersion:"v1.15.3", GitCommit:"2d3c76f9091b6bec110a5e63777c332469e0cba2", GitTreeState:"clean", BuildDate:"2019-08-19T11:05:50Z", GoVersion:"go1.12.9", Compiler:"gc", Platform:"linux/amd64"}

以下は重要なようです。 kubectl describe one_failed_pod

Events:
  Type     Reason                    Age    From                    Message
  ----     ------                    ----   ----                    -------
  Normal   Scheduled                 2m51s  default-scheduler       Successfully assigned default/backend-549f576d5f-xzdv4 to std-16gb-g7mo
  Warning  UnexpectedAdmissionError  2m51s  kubelet, std-16gb-g7mo  Update plugin resources failed due to failed to write checkpoint file "kubelet_internal_checkpoint": write /var/lib/kubelet/device-plugins/.543592130: no space left on device, which is unexpected.

解決方法は？

私も同じ問題を抱えていました。UnexpadAdmissionErrorでポッドの1つを記述しているとき、次のように表示されました。

デバイスプラグインのチェックポイントファイル "kubelet_internal_checkpoint" の書き込みに失敗したため、プラグインリソースの更新に失敗しました: /var/lib/kubelet/device-plugins/.525608957: デバイスに領域が残っていない、これは予想外でした。

ノードを記述しているとき。

OutOfDisk Unknown Tue, 30 Jun 2020 14:07:04 -0400 Tue, 30 Jun 2020 14:12:05 -0400 NodeStatusUnknown Kubeletはノードのステータスの投稿を停止しました。

ノードを再起動することで解決しました