Kafka Streams API

Наш план

Лекция 1. Kafka (краткое напоминание) и Data Streaming Конфигурация приложения. Простые (stateless) трансформации Трансформации с использованием локального состояния Лекция 2. Дуализм «поток—таблица» и табличные join-ы Время и оконные операции

Таблицы vs стримы

Таблицы vs стримы

Таблицы vs стримы

Table-table join

Table-Table join

Table-Table join

Топология Table-Table join

Переписываем totalling app при помощи KTable

KTable<String, Long> totals = input.groupByKey().aggregate(
    () -> 0L,
    (k, v, a) -> a + Math.round(v.getAmount() * v.getOdds()),
    Materialized.with(Serdes.String(), Serdes.Long())
);

$kafka-topics --zookeeper localhost --describe

Topic:
table2-demo-KSTREAM-AGGREGATE-STATE-STORE-0000000001-changelog
PartitionCount:10
ReplicationFactor:1
Configs:cleanup.policy=compact

Получаем таблицу счетов матчей

KStream<String, Score> scores =
    eventScores.flatMap((k, v) ->
        Stream.of(Outcome.H, Outcome.A).map(o ->
            KeyValue.pair(String.format("%s:%s", k, o), v))
            .collect(Collectors.toList()))
    .mapValues(EventScore::getScore);

KTable<String, Score> tableScores =
    scores.groupByKey(Grouped.with(...).reduce((a, b) -> b);

$kafka-topics --zookeeper localhost --list

table2-demo-KSTREAM-REDUCE-STATE-STORE-0000000006-repartition
table2-demo-KSTREAM-REDUCE-STATE-STORE-0000000006-changelog

Демо: Объединяем сумму ставок с текущим счётом

KTable<String, String> joined =
    totals.join(tableScores,
            (total, eventScore) ->
                String.format("(%s)\t%d", eventScore, total));

Копартиционирование

Несовпадение количества партиций

Несовпадение алгоритма партицирования

GlobalKTable

GlobalKTable<...> global = streamsBuilder.globalTable("global", ...);

Foreign Key Joins: join + ForeignKeyExtractor

Операции между стримами и таблицами: сводка

Виды Join-ов: Table-Table

Виды Join-ов: Table-Table

Виды Join-ов: Table-Table

Виды Join-ов: Stream-Table

Виды Join-ов: Stream-Stream

Наш план

Лекция 1. Kafka (краткое напоминание) и Data Streaming Конфигурация приложения. Простые (stateless) трансформации Трансформации с использованием локального состояния Лекция 2. Дуализм «поток—таблица» и табличные join-ы Время и оконные операции

Сохранение Timestamped-значений в RocksDB

static Bytes toStoreKeyBinary(byte[] serializedKey,
                              long timestamp,
                              int seqnum) {
    ByteBuffer buf = ByteBuffer.allocate(
                                serializedKey.length
                                + TIMESTAMP_SIZE
                                + SEQNUM_SIZE);
    buf.put(serializedKey);
    buf.putLong(timestamp);
    buf.putInt(seqnum);
    return Bytes.wrap(buf.array());
}

Быстрое извлечение значений по ключу из диапазона времени

Демо: Windowed Joins

Время, вперёд!

KStream<String, Bet> bets = streamsBuilder.stream(BET_TOPIC,
    Consumed.with(
            Serdes...)
            .withTimestampExtractor(

                (record, previousTimestamp) ->
                    ((Bet) record.value()).getTimestamp()

            ));

Демо: Windowed Joins

Score current = Optional.ofNullable(stateStore.get(key))
                .orElse(new Score());
stateStore.put(key, value.getScore());

Outcome currenOutcome =
    value.getScore().getHome() > current.getHome()
    ?
    Outcome.H : Outcome.A;

Демо: Windowed Joins

KStream<String, String> join = bets.join(outcomes,
    (bet, sureBet) ->

    String.format("%s %dms before goal",
                bet.getBettor(),
                sureBet.getTimestamp() - bet.getTimestamp()),
                JoinWindows.of(Duration.ofSeconds(1)).before(Duration.ZERO),
                StreamJoined.with(Serdes....
    ));

Tumbling window

TimeWindowedKStream<..., ...> windowed =
    stream.groupByKey()
        .windowedBy(TimeWindows.of(Duration.ofSeconds(20)));

Tumbling window

TimeWindowedKStream<..., ...> windowed =
    stream.groupByKey()
        .windowedBy(TimeWindows.of(Duration.ofSeconds(20)));

KTable<Windowed<...>, Long> count = windowed.count();

/*
* Windowed<K> interface:
* - K key()
* - Window window()
* -- Instant startTime()
* -- Instant endTime()
*/

Hopping Window

TimeWindowedKStream<..., ...> windowed =
    stream.groupByKey()
        .windowedBy(TimeWindows.of(Duration.ofSeconds(20))
                        .advanceBy(Duration.ofSeconds(10)));

Session Window

SessionWindowedKStream<..., ...> windowed =
    stream.groupByKey()
        .windowedBy(SessionWindows.with(Duration.ofMinutes(5)));

Window Retention time vs. Grace Time

Иногда нужны не окна, а Punctuator

class MyTransformer implements Transformer<...> { @Override public void init(ProcessorContext context) { context.schedule( Duration.ofSeconds(10), PunctuationType.WALL_CLOCK_TIME, timestamp->{. . .}); }

Наш план

Лекция 1. Kafka (краткое напоминание) и Data Streaming Конфигурация приложения. Простые (stateless) трансформации Трансформации с использованием локального состояния Лекция 2. Дуализм «поток—таблица» и табличные join-ы Время и оконные операции

Kafka Streams in Action

William Bejeck, “Kafka Streams in Action, Second Edition”, Spring 2023? Первое издание устарело!

Kafka: The Definitive Guide

Gwen Shapira, Todd Palino, Rajini Sivaram, Krit Petty November 2021

Другие источники

Сообщества, конференции

Некоторые итоги

На этом всё!