Parsing e raspagem de dados em Java: do iniciante ao primeiro parser

Por que Java e não Python? (Spoiler: a escolha não é óbvia)

Quando se fala em parsing e raspagem de dados, o que vem à mente na maioria das vezes é Python com seu BeautifulSoup e Scrapy. Mas sejamos honestos: no mundo do desenvolvimento enterprise, sistemas de alta carga e microsserviços, Java continua sendo o rei. Se você já programa em Java ou está apenas conhecendo essa linguagem, o parsing nela não é apenas "possível", mas muitas vezes necessário: alta velocidade, multithreading embutido, ferramentas poderosas para trabalhar com HTTP e HTML.

Neste artigo, vamos abordar como fazer parsing de sites em Java do zero. Você aprenderá quais bibliotecas usar, como não ser banido e como montar seu primeiro parser funcional. Os exemplos de código serão o mais vivos possível — pegue e execute.

O que é parsing e raspagem de dados (e para que serve)

Antes de mergulhar no código, vamos entender os termos. Parsing é a análise de uma estrutura (HTML, JSON, XML) e a extração das informações desejadas. Raspagem é o processo de coleta de dados de páginas web, que inclui tanto o parsing quanto o download de páginas e a navegação por links.

Para que serve? Exemplos da vida real:

\n
• Monitoramento de preços de concorrentes (coleta de dados de lojas online).
\n
• Coleta de contatos e endereços de e-mail para geração de leads B2B.
\n
• Automação da coleta de notícias ou postagens de redes sociais.
\n
• Análise de avaliações e classificações de produtos.
\n

Em Java, tudo isso é feito de forma rápida, estável e com consumo mínimo de memória.

Ferramentas Java para parsing: escolhendo as bibliotecas

Para parsing e raspagem de dados em Java, existem várias bibliotecas poderosas. Aqui está o conjunto básico que cobrirá 95% das tarefas:

\n
• Jsoup — a principal biblioteca para parsing de HTML. Ela consegue acessar sites, extrair elementos por seletores CSS, trabalhar com atributos e texto.
\n
• Apache HttpClient ou Java 11+ HttpClient — para ajuste fino de requisições, trabalho com cookies, sessões e cabeçalhos.
\n
• Selenium WebDriver — se o site usa JavaScript para carregar dados. Renderiza a página como um navegador real (Chrome, Firefox).
\n
• OkHttp — uma alternativa leve e rápida ao HttpClient.
\n

Para a maioria dos sites estáticos, Jsoup + HttpClient integrado são suficientes. Para sites dinâmicos, adicionamos Selenium.

Escrevendo o primeiro parser em Java com Jsoup

Vamos começar com algo simples: extrair os títulos de artigos de um blog. Suponha que precisamos coletar todos os títulos da página inicial do pythonlib.ru (hipoteticamente).

Adicione a dependência no Maven (pom.xml):

<dependency>\n    <groupId>org.jsoup</groupId>\n    <artifactId>jsoup</artifactId>\n    <version>1.17.2</version>\n</dependency>

Agora o código:

import org.jsoup.Jsoup;\nimport org.jsoup.nodes.Document;\nimport org.jsoup.nodes.Element;\nimport org.jsoup.select.Elements;\n\npublic class SimpleParser {\n    public static void main(String[] args) {\n        try {\n            // 1. Carregar a página\n            Document doc = Jsoup.connect("https://pythonlib.ru")\n                    .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")\n                    .timeout(10000)\n                    .get();\n\n            // 2. Selecionar todos os títulos h2 (ou qualquer outro seletor)\n            Elements headlines = doc.select("h2.entry-title a");\n\n            // 3. Exibir texto e links\n            for (Element headline : headlines) {\n                String title = headline.text();\n                String link = headline.attr("href");\n                System.out.println("Título: " + title);\n                System.out.println("Link: " + link);\n                System.out.println("---");\n            }\n\n        } catch (Exception e) {\n            e.printStac