Devlooped.Web 1.2.2

使用 HTML 作为 XML 读取，并使用 XLinq（或 HtmlAgilityPack 的替代品）通过 CSS 查询它。

无需学习全新的对象模型来处理页面。这使得它成为使用.NET最新、最强大的功能进行网页抓取的最大生产力和最精简的库。

用法

using System.Xml.Linq;
using Devlooped.Web;

XDocument page = HtmlDocument.Load("page.html")
IEnumerable<XElement> elements = page.CssSelectElements("div.menuitem");

XElement title = page.CssSelectElement("html head meta[name=title]");

默认情况下，HtmlDocument.Load 将跳过非内容元素 script 和 style，将所有元素名称转换为小写，并忽略所有 XML 命名空间（例如，在加载 XHTML 时很有用），以便于查询。可以使用接收 HtmlReaderSettings 的重载来配置这些选项以及细粒度的空白处理。

底层解析由微软的 SgmlReader 库执行。

此外，以下扩展方法使得在想要使用 CSS 或 XPath 查询而不必处理 XML 命名空间时，更容易处理 XML 文档

using System.Xml;
using System.Xml.Linq;
using Devlooped.Web;

var doc = XDocument.Load("doc.xml")
// Will remove all xmlns declarations, and allow querying elements 
// as if none had namespaces, returns the root element
XElement nons = doc.RemoveNamespaces();

// Alternatively, you can also ignore at the XmlReader level
using var reader = XmlReader.Create("doc.xml").IgnoreNamespaces();
doc = XDocument.Load(reader);

// Finally, you can also skip elements at the reader level
using var reader = XmlReader.Create("doc.xml").SkipElements("foo", "bar");
doc = XDocument.Load(reader);

CSS

目前支持以下 CSS 选择器功能

• 类型选择器
• 通用选择器
• 属性选择器
• 类选择器
• ID 选择器
• 伪类:
  • :checked
  • :first-child
  • :last-child
  • 子代选择符
  • 空选择符
  • 首元素类型选择符
  • 末元素类型选择符
  • 否定选择符
  • 第n个元素类型选择符
  • 第n个子代选择符
  • 拥有选择符

以及所有组合符

非CSS特性

• text()伪属性选择符：根据XPath text()位置路径选择节点文本内容。可以用作替代属性名称选择符，如div[text()=foo]。所有属性值选择符也支持
  • [text()=val]：表示文本内容恰好为"val"的元素。
  • [text()~=val]：表示文本内容为一系列以空格分隔的单词，其中一个恰好是"val"。如果"val"包含空格，它将永远不表示任何东西（因为单词是通过空格分隔的）。如果"val"是空字符串，它也永远不会表示任何东西。
  • [text()|=val]：表示文本内容恰好是"val"或以"val"开头直接跟一个连字符（U+002D）的元素。
  • [text()^=val]：表示文本内容以"val"为前缀的元素。如果"val"是空字符串，则选择符不表示任何东西。
  • [text()$=val]：表示文本内容以"val"为后缀的元素。如果"val"是空字符串，则选择符不表示任何东西。
  • [text()*=val]：表示文本内容包含至少一个"val"子串的元素。如果"val"是空字符串，则选择符不表示任何东西。

赞助商

了解更多关于GitHub赞助的信息