C# 用于解析：您未曾想到的强大工具

使用 C# 进行数据解析与抓取：当 Python 不是唯一选择时

如果您习惯认为解析是 Python 的专利，离不开 BeautifulSoup 和 Scrapy，那么我要给您一个惊喜。C# 在网络抓取领域就像一把瑞士军刀：强大、可靠，并且拥有许多您甚至未曾想到的“刀片”。使用 C# 进行解析，为您打开了通往 .NET 生态系统集成、高性能应用程序以及严格类型检查的大门，后者能在编译阶段就避免许多愚蠢的错误。

在本文中，我将展示如何使用 C# 进行数据采集，分析真实的代码示例，并告诉您为什么您的下一个解析器应该用 C# 编写，即使您以前从未考虑过这一点。

为什么选择 C# 而非 Python？三个铁一般的理由

是的，Python 是原型设计的王者。但当涉及到工业级的数据抓取时，使用 C# 您将获得：

\n
• 性能：C# 被编译为机器码（通过 JIT 或 AOT），在处理大量数据解析时，速度可提升 2-5 倍。
\n
• 类型安全：您永远不会在期望字符串的地方传入数字。编译器会在运行前捕获错误。
\n
• .NET 生态系统：C# 解析器可以轻松集成到 ASP.NET、WPF、控制台工具甚至 Unity 中（是的，您可以从游戏中解析数据）。
\n

最重要的是，C# 在处理需要多线程解析、数据库操作和复杂信息提取逻辑的任务时表现出色。

工具集：选择用于 C# 解析的库

使用 C# 解析网站始于选择正确的工具。我将重点介绍三种主要方法，它们涵盖了 95% 的网络抓取任务。

HtmlAgilityPack：HTML 解析的经典之选

这是最流行的 C# 解析库。它将 HTML 转换为树状结构，可以通过 XPath 或 LINQ 方便地操作。非常适合静态页面。

using HtmlAgilityPack;\n\nvar web = new HtmlWeb();\nvar doc = web.Load("https://example.com/articles");\n\n// 选择所有 class 为 "title" 的 h2 标题\nvar titles = doc.DocumentNode\n    .SelectNodes("//h2[@class='title']")\n    .Select(node => node.InnerText.Trim())\n    .ToList();\n\nforeach (var title in titles)\n{\n    Console.WriteLine($"找到标题: {title}");\n}

这段代码加载页面，解析它并收集标题。HtmlAgilityPack 能够处理格式不规范的 HTML，修复未闭合的标签——这在真实网站中很常见。

AngleSharp：现代的替代方案

AngleSharp 是一个较新的库，支持 CSS 选择器（类似 jQuery）并与 DOM 模型协同工作。对于熟悉 JavaScript 的人来说，使用 AngleSharp 进行 C# 数据解析感觉非常自然。

using AngleSharp;\nusing AngleSharp.Html.Parser;\n\nvar context = BrowsingContext.New(Configuration.Default);\nvar parser = context.GetService<IHtmlParser>();\n\nvar document = await parser.ParseDocumentAsync(htmlString);\nvar prices = document.QuerySelectorAll(".product-price")\n    .Select(el => el.TextContent.Trim())\n    .ToList();

AngleSharp 非常适合不仅需要收集数据，还需要执行 DOM 操作（例如在保存前替换属性）的场景。

Selenium WebDriver：用于动态网站

当网站通过 JavaScript（React、Vue、Angular）加载内容时，普通的解析器无能为力。这时 Selenium 就派上用场了。它模拟浏览器行为，允许您在页面完全加载后抓取数据。

using OpenQA.Selenium;\nusing OpenQA.Selenium.Chrome;\n\nusing (var driver = new ChromeDriver())\n{\n    driver.Navigate().GoToUrl("https://example.com/dynamic-page");\n    \n    // 等待元素出现\n    var wait = new WebDriverWait(driver, TimeSpan.FromSeconds(10));\n    wait.Until(d => d.FindEleme