Kafka Streams API

Всё, что я показываю, есть на гитхабе

Слайды: inponomarev.github.io/kstreams-examples Исходники: github.com/inponomarev/kstreams-examples

Наш план

Лекция 1. Kafka (краткое напоминание) и Data Streaming Конфигурация приложения. Простые (stateless) трансформации Трансформации с использованием локального состояния Лекция 2. Дуализм «поток—таблица» и табличные join-ы Время и оконные операции

Kafka это

распределённый масштабируемый отказоустойчивый лог миллионы записей в секунду

В Кафке можно

Записать нечто в именованный лог (topic) Прочитать записи из топика в FIFO порядке (в пределах партиции) Зафиксировать место, до которого дочитал

В Кафке нельзя

Стереть запись Изменить запись Найти в логе запись иначе, как по её порядковому номеру

Топики, партиции и сообщения

Топики, партиции и сообщения

Топики, партиции и сообщения

Анатомия сообщения

Анатомия сообщения

// hash the keyBytes to choose a partition
return Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions;

Чтение из Кафки

Чтение из Кафки

Чтение из Кафки

Чтение из Кафки

Offset Commit

Offset Commit

Offset Commit

Offset Commit

Offset Commit

Offset Commit

Offset Commit

Compacted topics

Как работает Retention

Потоковая обработка данных: архитектура

Где нужны потоковые системы?

Существующие фреймворки потоковой обработки

Наш план

Лекция 1. Kafka (краткое напоминание) и Data Streaming Конфигурация приложения. Простые (stateless) трансформации Трансформации с использованием локального состояния Лекция 2. Дуализм «поток—таблица» и табличные join-ы Время и оконные операции

Kafka Streams API: общая структура KStreams-приложения

StreamsConfig config = ...;
//Здесь устанавливаем всякие опции

Topology topology = new StreamsBuilder()
//Здесь строим топологию
....build();

Kafka Streams API: общая структура KStreams-приложения

Преобразуем поток в поток

blockStream squashedStream

List<Block> blocks = ...; Stream<Block> blocksStream = blocks.stream(); Stream<SquashedBlock> squashedStream = blocksStream.map(Block::squash); (Автор анимаций — Тагир Валеев, движущиеся картинки см. здесь)

Фильтруем

squashedStream filteredStream

Stream<SquashedBlock> filteredStream = squashedStream.filter(block ‑> block.getColor() != YELLOW);

Отображаем в консоль (терминальная операция)

filteredStream

filteredStream .forEach(System.out::println);

Всё вместе в одну строку

blocks.stream() .map(Block::squash) .filter(block ‑> block.getColor() != YELLOW) .forEach(System.out::println);

Ничего не напоминает?

cat file1 file2 | tr "[A-Z]" "[a-z]" | sort | tail -3

Kafka Streams API: общая структура KStreams-приложения

StreamsConfig config = ...;
//Здесь устанавливаем всякие опции

Topology topology = new StreamsBuilder()
//Здесь строим топологию
....build();


//Это за нас делает SPRING-KAFKA
KafkaStreams streams = new KafkaStreams(topology, config);
streams.start();
...
streams.close();

В Спринге достаточно определить две вещи

Легенда

Идут футбольные матчи (меняется счёт) Делаются ставки: H, D, A. Поток ставок, ключ: Cyprus-Belgium:A Поток ставок, значение: class Bet { String bettor; //John Doe String match; //Cyprus-Belgium Outcome outcome; //A (or H or D) long amount; //100 double odds; //1.7 long timestamp; //1554215083998 }

@Bean KafkaConfiguration

//ВАЖНО!
@Bean(name =
    KafkaStreamsDefaultConfiguration
                .DEFAULT_STREAMS_CONFIG_BEAN_NAME)
public KafkaStreamsConfiguration getStreamsConfig() {
    Map<String, Object> props = new HashMap<>();
    //ВАЖНО!
    props.put(StreamsConfig.APPLICATION_ID_CONFIG,
        "stateless-demo-app");
    //ВАЖНО!
    props.put(StreamsConfig.NUM_STREAM_THREADS_CONFIG, 4);
    props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
    ...
    KafkaStreamsConfiguration streamsConfig =
            new KafkaStreamsConfiguration(props);
    return streamsConfig;
}

@Bean NewTopic

@Bean
NewTopic getFilteredTopic() {
    Map<String, String> props = new HashMap<>();
    props.put(
      TopicConfig.CLEANUP_POLICY_CONFIG,
      TopicConfig.CLEANUP_POLICY_COMPACT);
    return new NewTopic("mytopic", 10, (short) 1).configs(props);
}

@Bean Topology

@Bean
public Topology createTopology(StreamsBuilder streamsBuilder) {
    KStream<String, Bet> input = streamsBuilder.stream(...);
    KStream<String, Long> gain
            = input.mapValues(v -> Math.round(v.getAmount() * v.getOdds()));
    gain.to(GAIN_TOPIC, Produced.with(Serdes.String(),
                new JsonSerde<>(Long.class)));
    return streamsBuilder.build();
}

Три строчки кода, и что тут такого?

Добавляем ноды

Ограничены только числом партиций

TopologyTestDriver: создание

KafkaStreamsConfiguration config = new KafkaConfiguration()
                                        .getStreamsConfig();
StreamsBuilder sb = new StreamsBuilder();
Topology topology = new TopologyConfiguration().createTopology(sb);
TopologyTestDriver topologyTestDriver =
        new TopologyTestDriver(topology,
                               config.asProperties());

TestInput/OutputTopic: создание

TestInputTopic<String, Bet> inputTopic =
        topologyTestDriver.createInputTopic(BET_TOPIC,
            Serdes.String().serializer(),
            new JsonSerde<>(Bet.class).serializer());
TestOutputTopic<String, Long> outputTopic =
        topologyTestDriver.createOutputTopic(GAIN_TOPIC,
            Serdes.String().deserializer(),
            new JsonSerde<>(Long.class).deserializer());

TopologyTestDriver: использование

Bet bet = Bet.builder()
            .bettor("John Doe")
            .match("Germany-Belgium")
            .outcome(Outcome.H)
            .amount(100)
            .odds(1.7).build();

inputTopic.pipeInput(bet.key(), bet);

TopologyTestDriver: использование

TestRecord<String, Long> record = outputTopic.readRecord();

assertEquals(bet.key(), record.key());
assertEquals(170L, record.value().longValue());

Если что-то пошло не так…​

Если всё совсем развалилось

streams.setUncaughtExceptionHandler(
  (Thread thread, Throwable throwable) -> {
    . . .
   });

Состояния приложения KafkaStreams

Что ещё нужно знать про stateless-трансформации?

Простое ветвление стримов

KStream<..> foo = ...
KStream<..> bar = foo.mapValues(…).map... to...
Kstream<..> baz = foo.filter(…).map... forEach...

Ветвление стримов по условию

gain.split()
    .branch((key, value) -> key.contains("A"),
        Branched.withConsumer(ks -> ks.to("A")))
    .branch((key, value) -> key.contains("B"),
        Branched.withConsumer(ks -> ks.to("B")));

Простое слияние

KStream<String, Integer> foo = ...
KStream<String, Integer> bar = ...
KStream<String, Integer> merge = foo.merge(bar);

Наш план

Лекция 1. Kafka (краткое напоминание) и Data Streaming Конфигурация приложения. Простые (stateless) трансформации Трансформации с использованием локального состояния Лекция 2. Дуализм «поток—таблица» и табличные join-ы Время и оконные операции

Локальное состояние

Embedded key/value storage LSM Tree (Log-Structured Merge-Tree) High-performant (data locality) Persistent, optimized for SSD

RocksDB похож на TreeMap<K,V>

Пишем “Bet Totalling App”

@Bean Topology

KStream<String, Bet> input = streamsBuilder.
    stream(BET_TOPIC, Consumed.with(Serdes.String(),
                      new JsonSerde<>(Bet.class)));

KStream<String, Long> counted =
    new TotallingTransformer()
        .transformStream(streamsBuilder, input);

Суммирование ставок

@Override
public KeyValue<String, Long> transform(String key, Bet value,
                    KeyValueStore<String, Long> stateStore) {
    long current = Optional
        .ofNullable(stateStore.get(key))
        .orElse(0L);
    current += value.getAmount();
    stateStore.put(key, current);
    return KeyValue.pair(key, current);
}

StateStore доступен в тестах

@Test
void testTopology() {
    topologyTestDriver.pipeInput(...);
    topologyTestDriver.pipeInput(...);

    KeyValueStore<String, Long> store =
        topologyTestDriver
        .getKeyValueStore(TotallingTransformer.STORE_NAME);

    assertEquals(..., store.get(...));
    assertEquals(..., store.get(...));
}

Демо: Ребалансировка / репликация

Сохранение локального состояния в топик

$kafka-topics --zookeeper localhost --describe

Topic:bet-totalling-demo-app-totalling-store-changelog
PartitionCount:10
ReplicationFactor:1
Configs:cleanup.policy=compact

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Партиционирование и local state

Репартиционирование

Дублирующееся неявное репартиционирование

KStream source = builder.stream("topic1");
KStream mapped = source.map(...);
KTable counts = mapped.groupByKey().aggregate(...);
KStream sink = mapped.leftJoin(counts, ...);

Избавляемся от дублирующегося репартиционирования

KStream source = builder.stream("topic1");
KStream shuffled = source.map(...).repartition(...);
KTable counts = shuffled.groupByKey().aggregate(...);
KStream sink = shuffled.leftJoin(counts, ...);

Ключ лучше лишний раз не трогать