Processamento de grandes dados em Kotlin: uma dupla inesperada e poderosa

Por que Kotlin é o novo "canivete suíço" para Big Data?

Quando se fala em processamento de grandes dados, geralmente vêm à mente Python, Java ou Scala. Mas há uma linguagem que entrou nesse mundo de forma silenciosa, mas firme — Kotlin. E se você pensa que Kotlin é só para Android, está muito atrasado.

Kotlin para Big Data é como encontrar um carro esportivo em um velho galpão: inesperado, poderoso e incrivelmente agradável. Ele combina a concisão do Python, a rigidez de tipos do Java e os recursos funcionais do Scala. E o principal: é totalmente compatível com o ecossistema JVM. Isso significa que você pode executar processamento de grandes dados em Kotlin usando os mesmos Hadoop, Spark ou Kafka, mas escrevendo 2 vezes menos código.

Neste artigo, vamos analisar como usar Kotlin para tarefas reais de Big Data: desde a escrita de pipelines ETL até o trabalho com Apache Spark e corrotinas para processamento assíncrono. Sem enrolação, apenas código e prática.

Por que Kotlin é melhor que Java e Scala para Data Engineer?

Vamos ser honestos: Java é muito verbosa. Uma classe de dados em Java ocupa 30 linhas com getters, setters, equals e hashCode. Em Kotlin — uma linha:

data class User(val id: Long, val name: String, val email: String)

Scala, por sua vez, tem poderosos recursos funcionais, mas sua sintaxe frequentemente assusta iniciantes pela complexidade. Kotlin oferece um "meio-termo" — funcionalidades que não quebram a cabeça.

Principais vantagens do Kotlin para processamento de dados:

• Null-safety — você esquecerá NullPointerException em tempo de execução.
• Extension functions — é possível estender classes do Spark ou Kafka sem herança.
• Corrotinas — assincronicidade leve para processamento de streams.
• Type inference — código escrito mais rápido, lido com mais facilidade.
• Java Interop — você conecta qualquer biblioteca Java e a usa como nativa.

Para data engineer, Kotlin é a possibilidade de escrever código de produção que funciona rápido, não dá problemas e é facilmente mantido.

Ferramentas: com o que trabalhamos

Antes de escrever código, vamos definir quais bibliotecas e frameworks usaremos para análise de dados em Kotlin:

• Apache Spark para Kotlin — via Java API. Tudo funciona "de fábrica".
• Kotlin DataFrame — biblioteca da JetBrains para trabalhar com dados tabulares. Análogo ao Pandas, mas em Kotlin.
• Kotlinx.serialization — para trabalhar com JSON/Parquet.
• Kotlin Coroutines — para carregamento assíncrono e processamento de streams.
• Exposed — ORM para trabalhar com bancos de dados.

Agora vamos ao que interessa — o código.

Exemplo 1: Pipeline ETL em Kotlin e Spark

Suponha que temos logs de visitas ao site em formato JSON (10 GB). Precisamos carregá-los, filtrar apenas usuários pagantes e salvar em Parquet. Uma tarefa clássica de processamento de dados Kotlin.

import org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.functions._

fun main() {    val spark = SparkSession.builder()        .appName("Kotlin Big Data ETL")        .master("local[*]")        .getOrCreate()

    // Lê JSON    val logsDF = spark.read()        .option("multiline", "true")        .json("hdfs://data/logs/*.json")

    // Filtra usuários pagantes    val payingUsers = logsDF        .filter(col("is_paid") === true)        .select("user_id", "event_time", "revenue")

    // Agrega: receita total por usuário    val revenueByUser = payingUsers        .groupBy("user_id")        .agg(sum("revenue").alias("total_revenue"))\