Kubernetes ノードが The node was low on resource: ephemeral-storage. になったら

• ポッドが The node was low on resource: ephemeral-storage. というエラーを出して終了する
• ノードのストレージ使用量が 85% になってる
• kubernetes の中でやたらと重い処理があり、ロードアベレージが異常に高い(100とか)

この場合、ストレージ不足です。

85%という数字は、kubernetes の image-gc-high-threshold のデフォルト値で、ストレージ使用量がこれを超えるとイメージGCが走り出します。

ただし、ストレージ肥大の原因が kubernetes と直接関係無い箇所だったため、処理できず不具合になってました。

今回は、docker コンテナのゴミがたまっていたので、docker prune  で削除しました。

docker container prune

もしくは

docker system prune