#Kubernetes17.11.2026

Как проверить, что NetworkPolicy в Kubernetes реально изолирует поды

Разбор на Хабре показал два рабочих обхода NetworkPolicy через DNS и hostNetwork-поды, которые не ловит обычный curl-тест

Как проверить, что NetworkPolicy в Kubernetes реально изолирует поды

Зелёный curl-тест между подами ещё не доказывает изоляцию в кластере Kubernetes. В разборе на Хабре DevOps-инженер Антон Паус показал на живом кластере с Cilium 1.20.4 и Tetragon 1.8.0: под с hostNetwork: true и прямой DNS-запрос к CoreDNS обходят NetworkPolicy, а стандартный Hubble UI эти обходы прячет из коробки.

Краткий ответ

Чтобы убедиться, что NetworkPolicy реально ограничивает трафик, одних curl-проверок между подами недостаточно: нужно сверять вердикт eBPF-датапаса из Cilium Hubble с тем, какой процесс и под стоят за соединением по данным Tetragon. Методика на тестовом стенде вскрыла два рабочих обхода, через DNS-резолвинг и через hostNetwork-поды, которые обычные тесты приложения не замечают вообще.

Почему обычный тест NetworkPolicy обманывает

Типичная проверка выглядит просто: применили YAML, прогнали kubectl exec ... curl между парой подов, получили ожидаемые «да» и «нет». Проблема в том, что такой тест покрывает только те маршруты, о которых тестировщик сам вспомнил. В стороне остаются три слепые зоны: DNS-резолвинг продолжает работать, даже когда порт закрыт, и этого достаточно для разведки по именам сервисов; поды с hostNetwork: true живут в сетевом namespace ноды, у них нет собственного veth-интерфейса, и обычные pod-level политики их трафик не видят; инфраструктурные адреса вроде NodeLocal DNS, kubelet и самих узлов лежат вне pod-сети. Hubble — компонент Cilium, который показывает, пропустил ли датапас пакет (FORWARDED/DROPPED). Tetragon — отдельный eBPF-инструмент того же проекта, который привязывает сетевое событие к конкретному процессу и поду через cgroup, а не через сетевой namespace.

Для проверки использовался стенд из 11 нод Kubernetes 1.35.4 (3 control-plane, 5 worker, 3 infra), Cilium 1.20.4 в режиме замены kube-proxy поверх VXLAN и NodeLocal DNSCache на адресе 169.254.25.10, который проксирует запросы в CoreDNS. На deny-all с узкими allow-правилами (client/frontend → backend:80, backend → db:5432, DNS) все пять базовых curl-проверок совпали с ожиданиями — тем результатом, на котором тестирование обычно и заканчивают.

Обход через DNS: NodeLocal DNSCache и CoreDNS

NodeLocal DNSCache работает как DaemonSet с hostNetwork: true, поэтому Cilium присваивает ему identity host. podSelector такую identity не матчит, а ipBlock в Cilium по умолчанию работает только для внешнего трафика с identity world. Открыть порт 53 удалось только явной CiliumNetworkPolicy с toEntities: [host, remote-node].

Дальше поверх добавили L7-фильтр по конкретному DNS-имени через matchName, разрешив поду резолвить только адрес backend. Но прямой запрос к ClusterIP или pod IP CoreDNS в обход NodeLocal всё равно резолвил запрещённое имя базы. Причина — в namespace оставалась старая встроенная K8s-политика allow-dns, которая открывает порт 53 на L4 без ограничений; Cilium объединяет правила по «или», и голое L4-разрешение на том же порту обнуляет соседний L7-фильтр. Удаление этой L4-политики закрыло оба пути: и через NodeLocal, и через прямой запрос к CoreDNS, оба стали возвращать REFUSED.

Обход через hostNetwork: под достаёт базу в обход всех правил

Под с hostNetwork: true, размещённый на той же ноде, что и целевой под, свободно подключился к базе данных, хотя политика разрешала доступ к ней только backend. С соседней ноды тот же под получил отказ. Дело в параметре allow-localhost: в режиме по умолчанию (auto, который раскрывается в always) Cilium разрешает локальному сетевому стеку ноды ходить во все локальные поды без проверки политик — это нужно, чтобы работали readiness-пробы kubelet. Для датапаса атакующий под в hostNetwork и есть «локальный стек».

Hubble фиксирует такое соединение с identity host или remote-node, без имени пода и namespace, а стандартный Hubble UI вообще прячет этот трафик фильтрами «Hide host service» и «Hide remote node», включёнными по умолчанию. Атрибуцию дал Tetragon: kprobe на tcp_connect привязывает событие к поду через cgroup независимо от сетевого namespace. Сопоставление потоков Hubble и событий Tetragon по паре saddr:sport показало, какие соединения с identity host на самом деле принадлежали hostNetwork-подам атакующего, а какие — пробам kubelet.

Как закрыли обе дыры

Первая попытка — убить процесс в момент tcp_connect через действие Tetragon Sigkill — опоздала: трёхстороннее рукопожатие TCP успевало завершиться, и для сканирования портов этого достаточно. Сработал перехват на уровне syscall: действие Override на sys_connect с проверкой адреса назначения по pod- и service-CIDR вернуло ошибку Operation not permitted ещё до отправки пакета в сеть.

Но это runtime-заплатка с захардкоженными CIDR в рамках одного namespace. Структурное решение — не пускать hostNetwork в прикладные namespace через встроенный Pod Security Admission уровня baseline, без отдельного движка политик вроде Kyverno. Важный нюанс: включение enforce не затрагивает уже запущенные поды-нарушители — их нужно сначала найти через dry-run проверку меток и вывести из кластера, и только потом включать enforce.

Почему это важно

Прохождение тестов NetworkPolicy на уровне приложения не гарантирует, что инфраструктурные пути вроде DNS-резолвинга и hostNetwork-подов действительно закрыты — а именно эти пути остаются вне поля зрения обычных curl-проверок. По итогам разбора надёжная изоляция в кластере складывается из трёх вещей сразу: deny-all с минимально необходимыми allow-правилами, сверка фактического вердикта датапаса с процессом-источником, и закрытие обходов вокруг pod-сети — запрет hostNetwork на уровне admission и DNS строго через L7-правила без параллельного L4-разрешения. Автор разбора формулирует итог прямо: если тесты NetworkPolicy проходят зелёным, но среди них нет проб из hostNetwork-пода и прямых запросов к CoreDNS в обход NodeLocal, такому результату доверять не стоит. Для команд, которые проходят аудит сетевой сегментации, это добавляет отдельный шаг проверки конфигурации, а не меняет сам процесс написания политик.

Что проверить в своём кластере

По методике из разбора порядок действий такой: сначала зафиксировать явную матрицу намерений «кто → куда → порт → allow/deny»; разместить тестовый hostNetwork-под и рядом с целью на одной ноде, и на соседней — результат будет разным; снять потоки Hubble через Relay или прямо с агентов на нодах-получателях в режиме --follow, так как кольцевой буфер на активном кластере вымывается меньше чем за минуту; снять события Tetragon на нодах-источниках; свести оба потока по saddr:sport и проверить, что каждый FORWARDED либо укладывается в матрицу, либо относится к системным процессам узла; отдельно прогнать DNS-резолвинг через NodeLocal, ClusterIP и pod IP CoreDNS напрямую. В Hubble UI перед проверкой нужно снять фильтры host, remote node и kube-dns, а имена DNS-запросов смотреть через CLI — интерфейс их не показывает.

Стоит учитывать ограничение: kprobe на tcp_connect и sys_connect ловит только TCP. UDP-трафик из hostNetwork-подов, включая DNS, проходит мимо этих правил — у такого пода нет собственного veth, на котором Cilium мог бы завернуть трафик в DNS-прокси. И главное: сами Hubble и Tetragon трафик не блокируют, они только показывают реальную картину в ядре — основную защиту по-прежнему держат NetworkPolicy и admission-контроллеры.

FAQ

Что такое eBPF-трассировка для проверки NetworkPolicy?

Это сверка вердиктов сетевого datapath, которые показывает Cilium Hubble (пропущен пакет или отброшен), с данными Tetragon о том, какой процесс и под его отправил. Вместе они показывают, что реально происходит в ядре, а не что написано в YAML.

Почему curl-тест между подами не доказывает изоляцию?

Потому что такой тест проверяет только те маршруты, которые тестировщик сам вспомнил. DNS-резолвинг, hostNetwork-поды и инфраструктурные адреса вроде NodeLocal DNS и kubelet остаются вне поля зрения, хотя через них можно обойти NetworkPolicy целиком.

Как hostNetwork-под обходит NetworkPolicy в Kubernetes?

Под с hostNetwork: true живёт в сетевом namespace ноды и для Cilium выглядит как локальный стек узла. Настройка allow-localhost по умолчанию разрешает этому стеку обращаться ко всем локальным подам без проверки политик — это нужно для проб kubelet, но тем же путём может пройти и чужой трафик.

Как закрыть DNS-обход через NodeLocal DNSCache?

Нужна CiliumNetworkPolicy с toEntities: [host, remote-node] на порт 53, плюс L7-фильтр по конкретным DNS-именам. При этом старую L4-политику, разрешающую DNS без ограничений, нужно удалить — иначе она через логику «или» в Cilium обнуляет L7-ограничение.

Нужен ли отдельный движок вроде Kyverno, чтобы заблокировать hostNetwork-поды?

Нет, по данным разбора для этого достаточно встроенного Pod Security Admission на уровне enforce: baseline. Включать его нужно в правильном порядке: сначала найти и вывести уже запущенные нарушающие поды, потом включать enforce — иначе старые поды останутся без проверки.