共计 2246 个字符,预计需要花费 6 分钟才能阅读完成。
Scrapling 能帮程序把网页上的标题、链接、价格等内容整理出来,省去一条条复制粘贴的麻烦。我这次用它读取自己的博客首页,也试了网页改版后还能不能找回原来的价格。
如果你正在学 Python,想做公开网页的信息整理,可以跟着试。它不是点一下就能用的采集软件,需要复制代码到文件里运行。只想偶尔保存一篇文章,用浏览器收藏就够了。
项目介绍:把网页内容变成可整理的数据
Scrapling 是一个免费开源的 Python 工具。我用的是 0.5.1,测试环境是 Linux、Python 3.13。下面先完成最简单的一件事:读取一个网页,并把找到的文章标题和链接打印出来。
它还有一个功能:网页样式改了以后,尝试重新找到原来的内容。我实测时只找回了两个价格中的一个,所以不能把它当成永远不会出错的自动采集器。采集范围也请限于自己的网站或获准访问的公开页面,遵守网站规则,不要抓取私人信息。
安装步骤:准备一个独立的练习目录
第 1 步:检查 Python
下面的命令在 Linux 终端运行。Windows 和 Mac 用户需要按自己的系统调整命令,不要直接照抄这一段。先输入:
python3 --version
出现 Python 版本号,说明电脑已经能运行 Python。若提示找不到命令,先安装 Python,再继续。
第 2 步:安装 Scrapling
按顺序执行下面的命令。独立环境只是把这次练习用的工具单独放好,避免和其他项目混在一起。
mkdir -p ~/scrapling-demo
cd ~/scrapling-demo
python3 -m venv v
. v/bin/activate
pip install "scrapling[fetchers]==0.5.1"
python -c "from scrapling.fetchers import Fetcher; print('安装成功')"
最后看到「安装成功」,就可以往下走。若之前装过但出现 No module named 'curl_cffi',重新执行上面的 pip 安装命令即可,不必研究报错原理。重新打开终端后,记得先进入 ~/scrapling-demo,再执行 . v/bin/activate。

使用方法:读取网页,拿到标题和链接
第 1 步:保存一份小脚本
在刚才的目录里新建 demo.py,把下面的代码完整复制进去并保存。这里读取的是我的博客首页,不需要登录账号。
from scrapling.fetchers import Fetcher
page = Fetcher.get("https://www.kejimiaozai.com/")
print("网页状态:", page.status)
for link in page.css("h2 a, h3 a")[:5]:
title = link.text.strip()
url = link.attrib.get("href")
if title:
print(title, url)
不用先记住每个英文单词。网址决定读取哪个网页,h2 a, h3 a 用来找标题里的链接,最后几行负责把内容显示出来。换成别的网站时,找标题的规则可能也需要改,不能只换网址就指望通用。
第 2 步:运行并检查结果
python demo.py
预期先看到网页状态 200,表示这次请求成功;后面如果找到了文字标题,会继续显示标题和对应网址。我原来的测试约 1.04 秒返回,这只是当次记录,不是固定速度。

如果只有状态码、没有标题,先检查页面里是否真的有这些标题。首页样式可能变化,有些链接也只有图片、没有文字;这时需要调整取内容的规则,不代表安装失败。
想提取价格,可以再试一段本地示例
先不访问其他网站,把两件商品写成一小段演示网页,更容易看懂结果。新建 price_demo.py,保存后用 python price_demo.py 运行:
from scrapling.parser import Selector
sample = """
<div class="item"><span class="price">¥30</span></div>
<div class="item"><span class="price">¥168</span></div>
"""
page = Selector(sample)
for price in page.css(".item .price"):
print(price.text)
预期显示 ¥30 和 ¥168。这两个数字只是练习数据,不是实时商品价格。这里的 .item .price 相当于告诉程序:去商品区域里找价格。

网页改版后,怎么处理?
我把演示网页里的 item 改成 row、price 改成 cost 后,旧规则就找不到价格了。最直接的解决办法是查看新版页面,把规则改成 .row .cost,再核对结果数量。

Scrapling 的自动找回功能可以辅助处理这种变化,但我的测试中只找回了 ¥30,没找回 ¥168;再配合 find_similar() 寻找相似项目,才补齐另一项。页面结构变化更大时,这次测试连一项都没找回。做核价或列表整理时,记得比较数量、抽查内容,别让程序少拿了数据,自己还以为收齐了。
第一次用,完成「网页状态 200,并显示标题链接」就够了。等这个小例子能跑,再换成自己有权限整理的页面。项目地址:D4Vinci/Scrapling。




