Apache Kafka

Наш план

Что такое лог и почему это важно Что такое Kafka и что она умеет Что такое потоковая архитектура и на что способны потоковые обработчики Kafka и JavaScript Как попробовать Кафку сегодня

Что такое лог?

 — Что наша жизнь?

 — Что наша жизнь?

Автоматизировать склад. Как?

Всё хорошо, пока…​

Что это может быть?

Что это может быть?

Украли (разбили, выкинули и т. п.) Потеряли: лежит где-то рядом ЭТО ВАША ТУПАЯ ПРОГРАММА НЕ РАБОТАЕТ

Что будем делать?

Как на самом деле надо проектировать?

«База данных — это склад»

Как на самом деле надо проектировать?

	«База данных — это склад»
	База данных отражает процессы. Текущее состояние — результат выполнения процессов

Warehouse Ledger

Warehouse Ledger

Warehouse Ledger

А если мы ошиблись с учётом?

На какие вопросы уже можно ответить?

Расследуем инцидент

На какие вопросы можно будет легко ответить?

Архитектура решения: лог не работает в одиночку

Предварительный итог

Наш план

Что такое лог и почему это важно Что такое Kafka и что она умеет Что такое потоковая архитектура и на что способны потоковые обработчики Kafka и JavaScript Как попробовать Кафку сегодня

Наш план

Что такое лог и почему это важно Что такое Kafka и что она умеет Общая информация Как устроен кластер Как устроена запись Как устроено чтение Retention и компактификация Что такое потоковая архитектура и на что способны потоковые обработчики Kafka и JavaScript Как попробовать Кафку сегодня

Kafka это

распределённый масштабируемый отказоустойчивый лог миллионы записей в секунду

В Кафке можно

Записать нечто в именованный лог (topic) Прочитать записи из топика в FIFO порядке (в пределах партиции) Зафиксировать место, до которого дочитал

В Кафке нельзя

Стереть запись Изменить запись Найти в логе запись иначе, как по её порядковому номеру

Наш план

Что такое лог и почему это важно Что такое Kafka и что она умеет Общая информация Как устроен кластер Как устроена запись Как устроено чтение Retention и компактификация Что такое потоковая архитектура и на что способны потоковые обработчики Kafka и JavaScript Как попробовать Кафку сегодня

Кластер Kafka: брокеры и Zookeeper

Топики, партиции и сообщения

Топики, партиции и сообщения

Топики, партиции и сообщения

Наш план

Что такое лог и почему это важно Что такое Kafka и что она умеет Общая информация Как устроен кластер Как устроена запись Как устроено чтение Retention и компактификация Что такое потоковая архитектура и на что способны потоковые обработчики Kafka и JavaScript Как попробовать Кафку сегодня

Анатомия сообщения

Анатомия сообщения

// hash the keyBytes to choose a partition
return Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions;

Пропускная способность vs время ожидания

Запись в Кафку

Запись в Кафку

Запись в Кафку

Наш план

Что такое лог и почему это важно Что такое Kafka и что она умеет Общая информация Как устроен кластер Как устроена запись Как устроено чтение Retention и компактификация Что такое потоковая архитектура и на что способны потоковые обработчики Kafka и JavaScript Как попробовать Кафку сегодня

Чтение из Кафки

Чтение из Кафки

Чтение из Кафки

Чтение из Кафки

Offset Commit

Offset Commit

Offset Commit

Offset Commit

Offset Commit

Offset Commit

Offset Commit

Наш план

Что такое лог и почему это важно Что такое Kafka и что она умеет Общая информация Как устроен кластер Как устроена запись Как устроено чтение Retention и компактификация Что такое потоковая архитектура и на что способны потоковые обработчики Kafka и JavaScript Как попробовать Кафку сегодня

Как работает retention

Как работает retention

Как работает retention

Как работает retention

Как работает retention

Как работает retention

Компактификация топиков

Наш план

Что такое лог и почему это важно Что такое Kafka и что она умеет Что такое потоковая архитектура и на что способны потоковые обработчики Kafka и JavaScript Как попробовать Кафку сегодня

Потоковая обработка данных: архитектура

Существующие фреймворки потоковой обработки

Когда меня спрашивают, какой стриминговый фреймворк использовать

Когда меня спрашивают, какой стриминговый фреймворк использовать

Stateless Transformation

KStream<String, String> stream =  streamsBuilder.stream(
     SRC_TOPIC, Consumed.with(Serdes.String(), Serdes.String());

Stateless Transformation

KStream<String, String> upperCasedStream =
    stream.mapValues(String::toUpperCase);

Stateless Transformation

upperCasedStream.to(SINK_TOPIC,
     Produced.with(Serdes.String(), Serdes.String());

Три строчки кода, ну и что тут такого?

Добавляем ноды

Ограничены только числом партиций

Магия Stateful Transformation

Изменения реплицируются в топик!

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Что ещё умеют стримы?

Агрегировать данные во временных окнах

«Склеивать» данные, относящиеся к рабочей сессии

KSQL

CREATE STREAM pageviews_enriched AS
  SELECT pv.viewtime,
         pv.userid AS userid,
         pv.pageid,
         pv.timestring,
         u.gender,
         u.regionid,
         u.interests,
         u.contactinfo
  FROM pageviews_transformed pv
  LEFT JOIN users_5part u ON pv.userid = u.userid
  EMIT CHANGES;

KSQL

CREATE TABLE pageviews_per_region_per_30secs AS
  SELECT regionid,
         count(*)
  FROM pageviews_enriched
  WINDOW TUMBLING (SIZE 30 SECONDS)
  WHERE UCASE(gender)='FEMALE' AND LCASE(regionid)='region_6'
  GROUP BY regionid
  EMIT CHANGES;

Кейсы для потоковых систем

О чём следует помнить

Если нужно хранить данные всё время

Никита Сальников-Тарновский //https://2019.jokerconf.com/2019/talks/2qw2ljhlfoeiipjf0gfzzb/[Потоковое приложение — это не только код, но и 3-4 года поддержки в проде]

Наш план

Что такое лог и почему это важно Что такое Kafka и что она умеет Что такое потоковая архитектура и на что способны потоковые обработчики Kafka и JavaScript Как попробовать Кафку сегодня

Kafka и Javascript

Kafka и Javascript

kafka-node

node-rdkafka

Преобразующий/выходной каскад на node.js?

Преобразующий/выходной каскад на node.js?

Nodefluent node-sinek — ещё один клиент kafka-streams — реимплементация KStreams для node.js kafka-connect — реимплементация kafka-connect

KSQL + Serverless

Наш план

Что такое лог и почему это важно Что такое Kafka и что она умеет Что такое потоковая архитектура и на что способны потоковые обработчики Kafka и JavaScript Как попробовать Кафку сегодня

Вы решили попробовать Кафку. С чего начать?

Эксплуатировать Кафку в production тяжело

Григорий Кошелев Когда всё пошло по Кафке Как готовить Кафку, чтобы не пригорало

Kafka: The Definitive Guide

Gwen Shapira, Todd Palino, Rajini Sivaram, Krit Petty November 2021

Сообщества, конференции

Телеграм

Митап в Москве

На этом всё!