Быть в курсе
Аватарка автора Ирина Клёпова
ИнструкцииОблако

Установка и настройка Kafka на Windows, Ubuntu и другие ОС

25 марта 2026

23 минуты

Телеграм

ВКонтакте

Apache Kafka стала стандартом для потоковой передачи данных. Платформа надежно хранит информацию, обрабатывает миллионы сообщений в секунду и поддерживает отказоустойчивую интеграцию микросервисов, сбор логов и обработку событий в крупных проектах.

В этой статье разберем этапы работы с Kafka: от теории и архитектуры до пошаговых инструкций по установке на различные ОС, настройки безопасности и организации мониторинга. Материал будет полезен как новичкам, так и опытным инженерам, которым нужна структурированная справочная информация.

Развернуть Kafka можно на собственных серверах, в Docker-контейнерах или в Kubernetes. Для команд, которые не хотят тратить ресурсы на администрирование инфраструктуры, подойдут облачные решения. Они позволяют сосредоточиться на разработке и предоставляют управляемые сервисы и вычислительные ресурсы для развертывания Kafka нужной конфигурации.

Что такое Apache Kafka

Apache Kafka можно сравнить с централизованной службой доставки данных внутри цифровой системы. Различные сервисы отправляют события в общие каналы, а потребители получают их тогда и с той скоростью, которая им нужна. Важно, что сообщения не исчезают сразу после обработки: они хранятся заданное время и остаются доступными для повторного чтения. Это позволяет подключать новых потребителей, восстанавливать обработку после сбоев и не зависеть от скорости отдельных компонентов системы.

С технической точки зрения Kafka представляет собой распределенную платформу с открытым исходным кодом для передачи, хранения и обработки потоков событий. Она рассчитана на работу с большими объемами данных и минимальные задержки, что делает ее подходящей для сценариев реального времени. Изначально решение появилось как внутренний инструмент LinkedIn, предназначенный для задач, с которыми не справлялись традиционные брокеры сообщений. Сегодня Kafka широко используют для асинхронного взаимодействия между сервисами, централизованного сбора логов и метрик, а также для построения масштабируемых конвейеров обработки данных. Понимание принципов ее работы важно при проектировании устойчивых и расширяемых архитектур.

Чтобы лучше разобраться, что такое Kafka и как она работает, рассмотрим ее архитектуру.

Источник: Freepik. Apache Kafka стала стандартом для потоковой передачи данных

Архитектура

В основе архитектуры Kafka лежит принцип распределенного журнала (log), который принципиально отличает платформу от классических очередей сообщений. Все события записываются последовательно, не удаляются сразу после чтения, а сохраняются в течение заданного периода. Такая модель позволяет повторно использовать данные, восстанавливать обработку после сбоев и подключать новых потребителей без влияния на уже работающие приложения.

Для уверенной настройки и администрирования платформы важно понимать, из чего состоит Kafka. Архитектура включает несколько ключевых компонентов, каждый из которых отвечает за работу с потоками данных:

  • брокер (Broker) — сервер Kafka, который принимает, хранит и отдает сообщения. Кластер обычно состоит из нескольких брокеров, каждый из которых имеет собственный идентификатор;
  • топик (Topic) — логическая категория или канал, в который записываются сообщения. Все данные в Kafka организуются именно через топики;
  • партиция (Partition) — часть топика, которая обеспечивает параллельную запись и чтение данных. Сообщения внутри одной партиции строго упорядочены и имеют последовательные смещения (offset);
  • продюсер (Producer) — приложение или сервис, который отправляет данные в топики;
  • консьюмер (Consumer) — приложение, которое читает сообщения из топиков и обрабатывает их;
  • ZooKeeper / KRaft — компонент управления кластером и хранения метаданных. В ранних версиях Kafka использовала ZooKeeper. В новых версиях (начиная с 2.8) от него постепенно отказываются в пользу механизма KRaft (Kafka Raft). Это упрощает управление кластером.

Благодаря такому устройству Kafka сочетает высокую производительность с отказоустойчивостью. Данные сохраняются на диске в соответствии с политикой хранения (retention), что позволяет перечитывать их при необходимости и использовать один и тот же поток событий в разных сценариях обработки.

Системные требования

Поскольку Kafka работает поверх JVM (Java Virtual Machine), система хорошо функционирует в разных средах: сервер под управлением Linux, рабочая станция разработчика на macOS или тестовый стенд на Windows.

В Windows-среде могут возникать сложности с настройкой окружения и зависимостей, особенно при тестировании и разработке. Чтобы упростить работу, можно использовать готовый образ Windows Server 2022 в Рег.облаке. Он разворачивается автоматически с настроенным доступом по RDP и подходит как для CPU-, так и для GPU-серверов.

Перед установкой убедитесь, что инфраструктура соответствует требованиям:

  • операционная система. рекомендуется Linux (Ubuntu, CentOS). Windows и macOS используются в основном для разработки и тестирования;
  • ОЗУ (RAM). Минимально нужно 4 ГБ, для серьезной нагрузки — от 16 ГБ. Kafka использует память для кэширования (page cache). Ориентировочный расчет: (объем записи в секунду) * 30 секунд для буферизации;
  • процессор (CPU). Важнее количество ядер, чем тактовая частота. Рекомендуется минимум 4 ядра для обработки сжатия и распаковки данных;
  • дисковая подсистема. Используйте SSD (желательно выделять отдельные диски под данные Kafka). Не размещайте данные брокера на том же диске, что системные логи;
  • файловые дескрипторы. В Linux увеличьте лимит открытых файлов минимум до 100000, так как каждый сегмент лога и соединение потребляют дескриптор;
  • JVM и JDK. Kafka работает на виртуальной машине Java, которая обеспечивает выполнение приложений. Для production установите JDK (Java Development Kit). Поддерживаются версии 8, 11 и 17, но 11 или 17 LTS предпочтительны.

Процесс установки в зависимости от операционной системы рассмотрим ниже. Во всех примерах статьи используется терминальная установка Kafka 4.1.1 в режиме KRaft, который позволяет обойтись без ZooKeeper, упрощает управление кластером и снижает количество компонентов.

Источник: Freepik. Платформа обрабатывает миллионы сообщений в секунду

Установка на Ubuntu

Рассмотрим процесс установки Kafka на популярную серверную операционную систему Ubuntu.

Шаг 1: Установка Java

Kafka работает на JVM, поэтому сначала установите JDK (версии 11 или 17 LTS).

В терминале выполните команды:

Шаг 2: Скачивание Kafka

Перейдите в директорию для размещения системы (например /opt) и скачайте архив с официального сайта:

Шаг 3: Распаковка и настройка переменных

Распакуйте архив и создайте символическую ссылку для удобства:

Для удобного управления можно добавить пути к бинарным файлам в переменную PATH. Отредактируйте файл ~/.bashrc:

Шаг 4: Создание пользователя и настройка прав

Создайте отдельного системного пользователя kafka без возможности интерактивного входа:

Создайте каталог для хранения данных и задайте права доступа пользователю kafka:

Шаг 5: Настройка конфигурации KRaft

Перейдите в каталог с конфигурацией Kafka и скопируйте шаблон:

Откройте файл server.properties для редактирования и настройте ключевые параметры:

Инициализируйте хранилище метаданных кластера. Сгенерируйте уникальный идентификатор кластера и выполните форматирование:

Шаг 6: Создание systemd-сервиса

Создайте unit-файл для запуска Kafka в KRaft-режиме:

Содержимое файла:

Обновите конфигурацию systemd и запустите сервис:

Добавьте Kafka в автозагрузку:

Шаг 7: Проверка работы

Создайте тестовый топик:

Проверьте список топиков:

Если топик отображается, Kafka успешно работает в режиме KRaft от безопасного системного пользователя kafka.

Источник: Freepik. Развернуть кластер можно на собственных серверах или в облаке

Установка на Windows

На Windows production-среды встречаются реже, но для разработки и тестирования это рабочий вариант.

Шаг 1: Установка Java

Скачайте установщик JDK (например, от Oracle или Adoptium), с официального сайта. Установите JDK и пропишите переменные окружения:

  • JAVA_HOME — путь к папке установки JDK (например, C:\Program Files\Eclipse Adoptium\jdk-11.0.22.7-hotspot)
  • Добавьте %JAVA_HOME%\bin в переменную Path

Проверьте установку в командной строке (cmd):

Шаг 2: Скачивание и распаковка Kafka

Скачайте стабильную версию Kafka с официального сайта (например, kafka_2.13-4.1.1.tgz).

Используйте архиватор (например, 7-Zip) для распаковки .tgz файла. Разместите содержимое в простой путь, например:

Шаг 3: Настройка KRaft и запуск

Перейдите в папку с конфигурацией Kafka и скопируйте в нее шаблон:

Откройте файл server.properties и настройте основные параметры. Они такие же, как для Ubuntu (шаг 5), за исключением каталога для хранения данных:

Создайте папку для хранения данных:

Сгенерируйте UUID и инициализируйте хранилище метаданных:

Запустите Kafka:

Шаг 4: Проверка работы

Откройте новое окно командной строки, перейдите в папку Kafka и создайте тестовый топик:

Проверьте список топиков:

Если вы увидели созданный топик, значит Kafka успешно работает в режиме KRaft на Windows.

Источник: Freepik. Система действует как надежная служба доставки событий

Установка на macOS

На macOS Kafka обычно используется для локальной разработки и тестирования.

Шаг 1: Установка Java (JDK)

Установите JDK версии 11 или 17 (LTS). Можно использовать Adoptium, Oracle или Homebrew:

Установите переменные окружения (например, в ~/.zshrc или ~/.bash_profile):

Проверьте установку Java:

Шаг 2: Скачивание и распаковка Kafka

Скачайте стабильную версию Kafka с официального сайта:

Распакуйте архив в удобный каталог, например:

Добавьте бинарные файлы в PATH:

Шаг 3: Настройка KRaft и запуск

Перейдите в папку с конфигурацией и скопируйте шаблон:

Откройте server.properties и настройте параметры (те же, что для Ubuntu в шаге 5)

Создайте каталог для данных и назначьте права:

Сгенерируйте UUID и инициализируйте хранилище метаданных:

Запустите Kafka:

Шаг 4: Проверка работы

Создайте тестовый топик:

Проверьте список топиков:

Если топик отображается, Kafka успешно работает в режиме KRaft на macOS.

Источник: Freepik. Архитектура состоит из брокеров, топиков и партиций

Установка на другие ОС

Помимо Ubuntu, Windows и macOS, Apache Kafka может быть установлена и на других платформах. Общий принцип остается тем же: требуется JVM, актуальная версия Kafka и настройка режима KRaft. Отличия в основном касаются менеджера пакетов, путей и системных сервисов.

CentOS / Rocky Linux / AlmaLinux (RHEL-based)

Дистрибутивы на базе Red Hat часто используются в production-средах.

Java

Установите JDK 11 или 17:

Kafka

Скачивание, распаковка и настройка выполняются аналогично Ubuntu (чаще всего в каталог /opt).

Пользователь и данные

Рекомендуется создать отдельного пользователя kafka и каталог для данных (например, /var/lib/kafka) с соответствующими правами.

Сервис

Для запуска используется systemd, unit-файл практически идентичен варианту для Ubuntu.

Важно: на RHEL-системах важно также проверить SELinux: в production его либо настраивают под Kafka, либо переводят в permissive-режим.

Debian

Debian во многом схож с Ubuntu, но чаще применяется в минимальных серверных конфигурациях.

Java

Kafka и KRaft

Все дальнейшие шаги (загрузка архива, настройка KRaft, systemd-сервис) полностью совпадают с инструкцией для Ubuntu.

Alpine Linux

Alpine используется реже, но может применяться в контейнерных или облегченных средах.

Особенности:

  • используется musl, а не glibc;
  • не поддерживается systemd (применяется openrc);
  • Kafka не рекомендуется для production на Alpine без контейнеризации.

Java

Kafka запускается вручную или через supervisord. Такой вариант подходит в основном для тестов и CI.

FreeBSD

FreeBSD может использоваться в серверных окружениях, но Kafka на ней встречается нечасто.

Java

Kafka скачивается из официального архива и настраивается вручную. Для автозапуска обычно используют rc-скрипты или сторонние менеджеры процессов.

Важно: официальная поддержка FreeBSD ограничена, поэтому такой вариант подходит только для опытных пользователей.

Контейнерные среды (Docker, Kubernetes)

Хотя Kafka можно запускать напрямую в контейнерах, в production чаще применяются:

  • официальные Docker-образы;
  • Helm-чарты;
  • операторы Kafka.

Даже в контейнерах рекомендуется использовать KRaft, так как он упрощает архитектуру и уменьшает количество сервисов.

Контейнерные среды требуют не только упаковки приложений, но и управления их масштабированием и отказоустойчивостью, что особенно важно для Kafka в production. Managed Kubernetes от Рег.облака упрощает развертывание и эксплуатацию кластеров, позволяет использовать Helm-чарты и операторы Kafka без сложной настройки инфраструктуры и ускоряя запуск сервисов.

Источник: Freepik. Для работы инфраструктуры рекомендуется операционная система Linux

Запуск и базовая конфигурация

После установки Kafka необходимо выполнить первичную конфигурацию.

Основные параметры

Основной файл — server.properties, где задаются ключевые параметры брокера:

  • node.id. Уникальный идентификатор брокера в кластере. Для одиночного брокера обычно 1;
  • process.roles. Определяет роли узла, например broker,controller. В KRaft брокер и контроллер могут работать в одном процессе;
  • listeners. Адрес и порт для соединений (например, PLAINTEXT://0.0.0.0:9092);
  • advertised.listeners. Адрес, который клиенты будут использовать для подключения. Для внешнего доступа указывайте IP или hostname хоста;
  • log.dirs. Папка или несколько папок для хранения данных (логи сообщений). Несколько директорий на разных дисках повышают производительность;
  • num.partitions. Количество партиций для топиков, создаваемых по умолчанию;
  • default.replication.factor. Фактор репликации по умолчанию. Для продакшн-кластера обычно 3.

Важно: в KRaft controller.quorum.voters заменяет необходимость zookeeper.connect. Для одиночного брокера: 1@localhost:9093.

Создание топиков и настройка клиентов

Для управления топиками используется скрипт kafka-topics.sh (для Windows — kafka-topics.bat). Основные команды для создания, изменения и просмотра топиков, которые помогут быстро настроить и проверить работу Kafka:

  • создание топика с 3 партициями и репликацией 2
  • изменение числа партиций (увеличить, уменьшить нельзя)
  • просмотр описания топика

Настройка продюсера и консьюмера:

  • продюсер должен знать адрес брокера (bootstrap.servers) и сериализаторы ключа и значения;
  • консьюмеру нужно указать group.id, чтобы Kafka могла отслеживать смещения и управлять чтением сообщений.

Настройка автозапуска

Для разных операционных систем существуют свои способы автоматического запуска Kafka при старте системы:

  • Ubuntu — через systemd (unit-файл для запуска Kafka при старте системы);
  • macOS — с помощью launchd или скриптов автозапуска (если Kafka установлена вручную, а не через Homebrew);
  • Windows — создание задачи в планировщике для выполнения .bat файлов при старте системы.

Автозапуск особенно важен для production, чтобы не запускать брокеры вручную после перезагрузки.

Источник: Freepik. Платформа функционирует поверх виртуальной машины Java

Мониторинг и оптимизация

Постоянное наблюдение за состоянием Kafka необходимо для стабильной работы.

Метрики брокеров через JMX

Kafka предоставляет широкий набор метрик через JMX (Java Management Extensions), которые позволяют отслеживать состояние брокеров, производительность и репликацию данных.

Основные метрики брокеров:

  • MessagesInPerSec (kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec) — скорость поступления сообщений;
  • UnderReplicatedPartitions (kafka.server:type=ReplicaManager,name=UnderReplicatedPartitions) — количество партиций, которые не полностью реплицированы;
  • ActiveControllerCount (kafka.controller:type=KafkaController,name=ActiveControllerCount) — должно быть 1 на одном брокере, чтобы контроллер был активен;
  • LogFlushRateAndTimeMs (kafka.log:type=LogFlushStats,name=LogFlushRateAndTimeMs) — скорость и время сброса данных на диск.

Метрики клиентов

Для консьюмеров важный показатель — records-lag-max (kafka.consumer:type=consumer-fetch-manager-metrics,client-id=…). Он отслеживает отставание консьюмера от последних записей.

Важно: JMX-интерфейс по умолчанию не защищен и может предоставить полный доступ к управлению JVM и Kafka-брокером. В production-среде нельзя открывать JMX-порт без ограничений.

Рекомендации по безопасному использованию JMX:

  • не публиковать JMX-порт в общедоступные сети;
  • ограничивать доступ с помощью firewall или сетевых политик (Security Groups, Network Policies);
  • использовать JMX Exporter для передачи метрик в Prometheus вместо прямого доступа;
  • при необходимости включать аутентификацию и SSL для JMX.

Инструменты мониторинга

Для сбора и визуализации метрик Kafka чаще всего используют связку:

  • Prometheus — для хранения метрик;
  • JMX Exporter — для безопасного экспорта JMX-метрик в формате HTTP;
  • Grafana — для построения дашбордов и алертов.

В новых версиях Kafka (KIP-714) поддерживается централизованный сбор метрик с клиентских приложений на разных языках, что упрощает мониторинг распределенных систем и снижает необходимость прямого доступа к JMX.

Частые проблемы

Даже при корректной установке и базовой настройке Kafka в процессе эксплуатации могут возникать типовые проблемы, которые важно вовремя выявлять с помощью мониторинга:

  • высокая загрузка диска. Чаще всего связана с некорректной политикой хранения данных. Параметры log.retention.hours и log.retention.bytes должны соответствовать реальным требованиям к хранению сообщений. Если они заданы слишком большими, диск может заполняться быстрее ожидаемого;
  • падение производительности. Обычно возникает из-за медленной дисковой подсистемы или недостаточного количества партиций. Kafka активно использует диск, поэтому SSD и достаточный уровень параллелизма критически важны для стабильной работы;
  • отставание консьюмеров (Consumer Lag). Ситуация, при которой консьюмеры не успевают обрабатывать входящие сообщения. Решается оптимизацией кода консьюмера, увеличением числа партиций в топике или запуском большего количества экземпляров консьюмеров в одной группе;
  • проблемы с лидером партиции. При сбоях брокеров происходят перевыборы лидеров партиций, что может приводить к кратковременной недоступности данных. Снизить влияние таких ситуаций помогает корректная настройка replication.factor и min.insync.replicas.

Масштабирование

Масштабирование Kafka напрямую связано с анализом метрик и нагрузок. Существует два основных подхода:

  • вертикальное масштабирование — увеличение ресурсов сервера (CPU, память, диски);
  • горизонтальное масштабирование — добавление новых брокеров в кластер. Этот вариант считается предпочтительным, так как повышает отказоустойчивость и уровень параллелизма.

Типовой процесс добавления нового брокера в кластер KRaft:

  1. Установите Kafka на новую машину.
  2. Укажите уникальный node.id и настройте параметры KRaft в файле server.properties.
  3. Запустите брокер — он автоматически подключится к существующему кластеру.
  4. Выполните перераспределение партиций с помощью утилиты kafka-reassign-partitions.sh, чтобы равномерно распределить нагрузку.

Важно учитывать, что максимальная производительность чтения из одного топика ограничена числом его партиций. При росте нагрузки часто требуется увеличивать именно этот параметр, а не только добавлять новые брокеры.

Источник: Freepik. Новые версии используют режим KRaft без ZooKeeper

Безопасность

В базовой конфигурации Kafka не включает механизмы защиты, поэтому для реальной эксплуатации безопасность необходимо настраивать отдельно.

Минимальный набор мер включает следующие элементы:

  • шифрование соединений (SSL/TLS). Для защиты данных при передаче настраивается SSL/TLS между клиентами и брокерами. Для этого генерируются сертификаты и ключи, после чего listeners переводятся на протокол SSL. Это предотвращает перехват данных и атаки типа man-in-the-middle;
  • аутентификация клиентов (SASL). Kafka поддерживает несколько механизмов аутентификации: PLAIN, SCRAM и GSSAPI (Kerberos). На практике чаще всего используют SASL/SCRAM, так как он позволяет управлять пользователями с помощью логинов и паролей и не требует сложной инфраструктуры;
  • авторизация и контроль доступа (ACL). После успешной аутентификации необходимо ограничить действия пользователей. Механизм ACL позволяет задавать права на чтение, запись и администрирование топиков, consumer-групп и других ресурсов. Это защищает систему от несанкционированного доступа и ошибок в приложениях.

Без корректно настроенной безопасности Kafka не рекомендуется использовать в production-среде, особенно при работе с чувствительными данными.

Кейсы и примеры использования

Kafka широко применяется в современной IT-инфраструктуре для решения задач потоковой обработки и обмена данными:

  • трекинг пользовательской активности. События вроде кликов, просмотров и действий пользователей отправляются в Kafka и обрабатываются аналитическими системами в реальном времени или сохраняются для последующего анализа;
  • сбор логов и метрик. Приложения публикуют логи в Kafka, а системы вроде Logstash или Fluentd читают их и передают в Elasticsearch или другие хранилища. Такой подход снижает задержки и повышает надежность сбора данных;
  • микросервисная архитектура. Kafka часто используется как событийная шина между сервисами. Один сервис публикует событие, а несколько других асинхронно на него реагируют, не создавая жестких зависимостей;
  • Change Data Capture (CDC). Инструменты наподобие Debezium отслеживают изменения в базах данных и передают их в Kafka, где эти события могут использоваться для синхронизации, аналитики или интеграций;
  • потоковая обработка данных. С помощью Kafka Streams можно выполнять агрегации и трансформации данных в реальном времени, например, подсчитывать количество событий за интервал и передавать результат дальше по конвейеру.

Итоги

Kafka — мощный инструмент для построения событийных систем и потоковой обработки данных. Использование режима KRaft упрощает архитектуру и снижает сложность эксплуатации, благодаря чему платформа может надежно работать под высокими production-нагрузками при правильной настройке и мониторинге.

При этом Kafka не является универсальным решением для любых задач. Она может оказаться избыточной в сценариях, где требуется простая очередь сообщений, обрабатываются небольшие объемы данных, критична минимальная задержка без необходимости длительного хранения событий или команда не готова поддерживать сложную распределенную инфраструктуру. В таких случаях более легкие брокеры сообщений или managed-сервисы часто оказываются практичнее и экономичнее.

Источник: Freepik. Сообщения сохраняются на диске для повторного чтения

FAQ

Что такое Kafka и для чего она используется?
Apache Kafka — распределенная платформа для передачи, хранения и обработки потоков событий в реальном времени. Используется для построения событийных архитектур, интеграции микросервисов, сбора логов и аналитики.

Какие компоненты входят в Kafka?
Kafka состоит из брокеров, топиков, партиций, продюсеров, консьюмеров и компонента управления кластером. В актуальных версиях для управления метаданными используется KRaft вместо ZooKeeper.

Какая ОС предпочтительнее для работы?
Для production-развертываний рекомендуется Linux (чаще всего Ubuntu и другие Unix-подобные системы). Windows и macOS применяются в основном для разработки и тестирования.

Чем различаются Kafka и RabbitMQ?
RabbitMQ ориентирован на классические очереди сообщений, тогда как Kafka предназначена для потоковой обработки данных, высокой пропускной способности и повторного чтения событий.

Как настроить автозапуск Kafka?
На Linux автозапуск настраивается через systemd, на macOS — с помощью launchd или Homebrew, на Windows — через планировщик задач.

Как обеспечить отказоустойчивость?
Отказоустойчивость достигается использованием нескольких брокеров, репликацией партиций, корректной настройкой replication.factor и min.insync.replicas, а также постоянным мониторингом состояния кластера.

Как мониторить Kafka?
Kafka мониторится с помощью JMX-метрик с последующим экспортом в Prometheus и визуализацией в Grafana. Также контролируется lag консьюмеров и состояние репликации.

Как масштабировать Kafka?
Основной способ масштабирования — горизонтальный: добавление брокеров и увеличение числа партиций. Вертикальное масштабирование за счет ресурсов сервера используется реже.

Какие основные проблемы возникают при эксплуатации?
Наиболее распространенные проблемы — высокая нагрузка на дисковую подсистему, отставание консьюмеров, недостаточное количество партиций и некорректные политики хранения данных.

Подходит ли Kafka для небольших проектов?
Kafka может быть избыточной для небольших проектов из-за сложности эксплуатации и требований к инфраструктуре.

Какие альтернативы Kafka существуют?
В качестве альтернатив могут использоваться RabbitMQ, Redis Streams или управляемые облачные сервисы потоковой передачи событий в зависимости от требований к нагрузке и отказоустойчивости.

Новые статьи