Jsoup для Java: Полное руководство по парсингу HTML

1. Что такое Jsoup и зачем он нужен?

Jsoup — это мощная и удобная Java-библиотека с открытым исходным кодом, предназначенная для парсинга (разбора), извлечения данных и манипуляции HTML-документами. Она предоставляет разработчикам чистый и интуитивно понятный API, который позволяет работать с HTML так же легко, как с DOM-деревом в браузере. Если вам когда-либо приходилось писать регулярные выражения для извлечения данных из веб-страниц, вы знаете, насколько это может быть хрупким и трудно поддерживаемым решением. Jsoup решает эту проблему, предлагая надёжный и гибкий инструмент.

Основная задача Jsoup — парсинг HTML. Он может принимать на вход строку, URL-адрес или файл и превращать их в объектную модель документа (DOM). После этого вы можете использовать CSS-селекторы (как в jQuery) или навигацию по DOM-дереву для поиска и извлечения конкретных элементов, их атрибутов и текстового содержимого. Кроме того, Jsoup умеет очищать HTML от потенциально опасных элементов (например, XSS-атак) и модифицировать документ: добавлять, удалять или изменять теги и их содержимое.

Зачем это нужно? Сферы применения Jsoup очень широки: от написания простых парсеров для сбора данных (web scraping) и мониторинга цен до создания сложных систем анализа контента, тестирования веб-приложений и интеграции с CMS. Jsoup — это стандарт де-факто для работы с HTML в мире Java, и его знание является обязательным для любого Java-разработчика, сталкивающегося с веб-технологиями.

2. Установка Jsoup

Jsoup распространяется как JAR-файл, но проще всего подключить его через систему сборки. Ниже приведены команды для Maven и Gradle.

Maven (pom.xml)

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.17.2</version>
</dependency>

Gradle (build.gradle)

implementation 'org.jsoup:jsoup:1.17.2'

Если вы не используете системы сборки, скачайте JAR-файл с официального сайта и добавьте его в classpath вашего проекта.

3. Быстрый старт: минимальный рабочий пример

Давайте напишем простейшую программу, которая загружает главную страницу Google и выводит её заголовок.

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class QuickStart {
    public static void main(String[] args) throws Exception {
        // 1. Загружаем HTML-документ по URL
        Document doc = Jsoup.connect("https://www.google.com").get();

        // 2. Извлекаем заголовок страницы (содержимое тега <title>)
        String title = doc.title();

        // 3. Выводим результат
        System.out.println("Заголовок страницы: " + title);
    }
}

Этот код делает HTTP GET-запрос к указанному URL, парсит полученный HTML и возвращает объект Document. Метод title() — это удобный способ получить содержимое тега <title>. Вывод будет примерно таким: Заголовок страницы: Google.

4. Основные методы и классы Jsoup

Рассмотрим ключевые классы и методы библиотеки. Все примеры предполагают, что вы уже импортировали org.jsoup.Jsoup и org.jsoup.nodes.*.

4.1. `Jsoup.connect(String url)`

Сигнатура: public static Connection connect(String url)

Что делает: Создаёт новое HTTP-соединение к указанному URL. Возвращает объект Connection, который можно настроить (добавить заголовки, куки, таймауты) и затем выполнить запрос методом get() или post().

// Пример с настройкой
Document doc = Jsoup.connect("https://example.com")
    .userAgent("Mozilla/5.0")
    .timeout(10000)
    .cookie("session", "abc123")
    .get();

4.2. `Jsoup.parse(String html)`

Сигнатура: public static Document parse(String html)

Что делает: Парсит переданную строку, содержащую HTML-код, и возвращает объект Document. Это полезно, когда HTML уже получен (например, из файла или базы данных).

String html = "<html><head><title>Мой сайт</title></head><body><p>Привет!</p></body></html>";
Document doc = Jsoup.parse(html);
System.out.println(doc.title()); // Выведет: Мой сайт

4.3. `Document.getElementById(String id)`

Сигнатура: public Element getElementById(String id)

Что делает: Находит первый элемент в документе с указанным атрибутом id. Возвращает null, если элемент не найден. Это самый быстрый способ поиска элемента по уникальному идентификатору.

// HTML: <div id="content">Основной контент</div>
Element contentDiv = doc.getElementById("content");
if (contentDiv != null) {
    System.out.println(contentDiv.text()); // Выведет: Основной контент
}

4.4. `Element.select(String cssQuery)`

Сигнатура: public Elements select(String cssQuery)

Что делает: Находит все элементы, соответствующие CSS-селектору. Возвращает объект Elements (список Element). Это самый мощный и гибкий метод для поиска элементов. Поддерживаются все основные CSS-селекторы, а также некоторые расширения Jsoup (например, :contains(text)).

// HTML: <ul class="menu"><li>Главная</li><li class="active">О нас</li></ul>
Elements menuItems = doc.select("ul.menu li");
for (Element item : menuItems) {
    System.out.println(item.text());
}

// Более сложный селектор: найти все ссылки внутри div с id "main"
Elements links = doc.select("div#main a[href]");

4.5. `Element.text()`

Сигнатура: public String text()

Что делает: Извлекает и возвращает объединённый текстовый контент элемента и всех его дочерних элементов. Пробелы и переносы строк нормализуются. Это основной способ получения "чистого" текста без HTML-тегов.

// HTML: <p>Это <strong>важный</strong> текст.</p>
Element paragraph = doc.select("p").first();
String text = paragraph.text();
System.out.println(text); // Выведет: Это важный текст.

4.6. `Element.attr(String attributeKey)`

Сигнатура: public String attr(String attributeKey)

Что делает: Возвращает значение указанного атрибута элемента. Если атрибут отсутствует, возвращается пустая строка (не null). Чаще всего используется для получения href у ссылок, src у изображений или class.

// HTML: <a href="https://example.com" class="link">Пример</a>
Element link = doc.select("a").first();
String href = link.attr("href");   // "https://example.com"
String cssClass = link.attr("class"); // "link"

4.7. `Elements.first()` и `Elements.last()`

Сигнатура: public Element first() / public Element last()

Что делает: Возвращают первый или последний элемент из коллекции Elements. Если коллекция пуста, возвращают null. Это удобно, когда нужно получить только один элемент, не перебирая весь список.

Elements images = doc.select("img");
Element firstImage = images.first();
Element lastImage = images.last();
if (firstImage != null) {
    System.out.println("Первое изображение: " + firstImage.attr("src"));
}

4.8. `Element.html()` и `Document.html()`

Сигнатура: public String html()

Что делает: Возвращает внутренний HTML-код элемента (все дочерние узлы в виде строки). Для Document возвращает весь HTML-код документа. Это полезно для отладки или когда нужно получить HTML-фрагмент для последующей обработки.

// HTML: <div><p>Текст</p></div>
Element div = doc.select("div").first();
String innerHtml = div.html(); // "<p>Текст</p>"
String outerHtml = div.outerHtml(); // "<div><p>Текст</p></div>"

4.9. `Jsoup.parse(File in, String charsetName)`

Сигнатура: public static Document parse(File in, String charsetName)

Что делает: Парсит HTML-файл с диска. Параметр charsetName указывает кодировку файла (например, "UTF-8"). Это основной способ для работы с локальными HTML-файлами.

File input = new File("/path/to/myfile.html");
Document doc = Jsoup.parse(input, "UTF-8");
System.out.println(doc.title());

4.10. `Jsoup.clean(String bodyHtml, Whitelist whitelist)`

Сигнатура: public static String clean(String bodyHtml, Whitelist whitelist)

Что делает: Очищает HTML-строку от тегов и атрибутов, не входящих в "белый список" (Whitelist). Это критически важный метод для защиты от XSS-атак (Cross-Site Scripting) при вставке пользовательского HTML-контента на страницу. Jsoup предоставляет несколько предопределённых списков, например, Whitelist.basic(), Whitelist.simpleText(), Whitelist.relaxed().

String unsafeHtml = "<p>Привет! <script>alert('XSS')</script></p>";
String safeHtml = Jsoup.clean(unsafeHtml, Whitelist.basic());
System.out.println(safeHtml);
// Выведет: <p>Привет! </p>  (тег script был удалён)

5. Реальный практический пример: Парсинг новостного сайта

Предположим, мы хотим собрать заголовки и ссылки на статьи с главной страницы новостного сайта (например, lenta.ru). Мы напишем программу, которая:

Загружает главную страницу.
Находит все элементы, содержащие заголовки новостей (по CSS-классу).
Извлекает текст заголовка и ссылку.
Выводит результаты в читаемом виде.

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;

public class NewsParser {

    public static void main(String[] args) {
        String url = "https://lenta.ru"; // Будьте внимательны: сайты могут меняться
        try {
            // 1. Загружаем страницу с таймаутом и User-Agent
            Document doc = Jsoup.connect(url)
                .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")
                .timeout(15000)
                .get();

            // 2. Находим все элементы с классом "card-mini__title" (актуально для lenta.ru на момент написания)
            //    В реальности селектор нужно подбирать под конкретный сайт.
            Elements newsItems = doc.select(".card-mini__title");

            if (newsItems.isEmpty()) {
                System.out.println("Не удалось найти новости. Возможно, структура сайта изменилась.");
                // Попробуем другой селектор
                newsItems = doc.select("a[href*='/news/']");
            }

            int count = 0;
            for (Element item : newsItems) {
                // 3. Извлекаем текст заголовка
                String title = item.text();

                // 4. Извлекаем ссылку. Ищем родительский элемент 
                
    
  Также в библиотеке
  
                
                  
                 Swagger-PHP для PHP: полное руководство с примерами
      
                
                  
                 HTTP-клиент для Go (Golang): топ библиотек для работы с HTTP
      
                
                  
                 Работа с датами в TypeScript: обзор библиотек date-fns, Luxon и Day.js
      
                
                  
                 CLI фреймворки для C++: пишем консольные приложения быстро и удобно
      
                
                  
                 PHPMailer для PHP: полное руководство с примерами



                
                
                    Рекомендаций
                    
                                                    
                                
                                    
                                        
                                    
                                    Fabric – автоматизация администрирования
                                
                            
                                                    
                                
                                    
                                        
                                    
                                    Работа с XML в Go: encoding/xml, библиотеки и примеры
                                
                            
                                                    
                                
                                    
                                        
                                    
                                    Миграции баз данных в Node.js: Обзор инструментов и примеры
                                
                            
                                                    
                                
                                    
                                        
                                    
                                    JWT токены в Swift: работа с JSON Web Token на iOS/macOS



            
            
                
                    Новости
                                            
                            
                                
                                    
                                    
                                        Как Swift изменил индустрию разработки: прорыв Apple                                    
                                
                            
                        
                                            
                            
                                
                                    
                                    
                                        Роадмап развития Swift (iOS/macOS) на 2025-2026 годы: что ждет разработчиков                                    
                                
                            
                        
                                            
                            
                                
                                    
                                    
                                        Swift выходит за пределы Apple: поддержка новой платформы                                    
                                
                            
                        
                                            
                            
                                
                                    
                                    
                                        Опрос: Топ фреймворков Swift в продакшене — что выбирают разработчики                                    
                                
                            
                        
                                            
                            
                                
                                    
                                    
                                        Путь к успеху: как стартап построил бизнес на Swift для iOS и macOS

Jsoup для Java: полное руководство с примерами

Jsoup для Java: Полное руководство по парсингу HTML

1. Что такое Jsoup и зачем он нужен?

2. Установка Jsoup

Maven (pom.xml)

Gradle (build.gradle)

3. Быстрый старт: минимальный рабочий пример

4. Основные методы и классы Jsoup

4.1. Jsoup.connect(String url)

4.2. Jsoup.parse(String html)

4.3. Document.getElementById(String id)

4.4. Element.select(String cssQuery)

4.5. Element.text()

4.6. Element.attr(String attributeKey)

4.7. Elements.first() и Elements.last()

4.8. Element.html() и Document.html()

4.9. Jsoup.parse(File in, String charsetName)

4.10. Jsoup.clean(String bodyHtml, Whitelist whitelist)