不用手动复制网页内容:Scrapling 安装和使用教程

328次阅读
没有评论

共计 2246 个字符,预计需要花费 6 分钟才能阅读完成。

Scrapling 能帮程序把网页上的标题、链接、价格等内容整理出来,省去一条条复制粘贴的麻烦。我这次用它读取自己的博客首页,也试了网页改版后还能不能找回原来的价格。

如果你正在学 Python,想做公开网页的信息整理,可以跟着试。它不是点一下就能用的采集软件,需要复制代码到文件里运行。只想偶尔保存一篇文章,用浏览器收藏就够了。

项目介绍:把网页内容变成可整理的数据

Scrapling 是一个免费开源的 Python 工具。我用的是 0.5.1,测试环境是 Linux、Python 3.13。下面先完成最简单的一件事:读取一个网页,并把找到的文章标题和链接打印出来。

它还有一个功能:网页样式改了以后,尝试重新找到原来的内容。我实测时只找回了两个价格中的一个,所以不能把它当成永远不会出错的自动采集器。采集范围也请限于自己的网站或获准访问的公开页面,遵守网站规则,不要抓取私人信息。

安装步骤:准备一个独立的练习目录

第 1 步:检查 Python

下面的命令在 Linux 终端运行。Windows 和 Mac 用户需要按自己的系统调整命令,不要直接照抄这一段。先输入:

python3 --version

出现 Python 版本号,说明电脑已经能运行 Python。若提示找不到命令,先安装 Python,再继续。

第 2 步:安装 Scrapling

按顺序执行下面的命令。独立环境只是把这次练习用的工具单独放好,避免和其他项目混在一起。

mkdir -p ~/scrapling-demo
cd ~/scrapling-demo
python3 -m venv v
. v/bin/activate
pip install "scrapling[fetchers]==0.5.1"
python -c "from scrapling.fetchers import Fetcher; print('安装成功')"

最后看到「安装成功」,就可以往下走。若之前装过但出现 No module named 'curl_cffi',重新执行上面的 pip 安装命令即可,不必研究报错原理。重新打开终端后,记得先进入 ~/scrapling-demo,再执行 . v/bin/activate。

不用手动复制网页内容:Scrapling 安装和使用教程
安装成功终端截图:执行检查命令后输出「安装成功」

使用方法:读取网页,拿到标题和链接

第 1 步:保存一份小脚本

在刚才的目录里新建 demo.py,把下面的代码完整复制进去并保存。这里读取的是我的博客首页,不需要登录账号。

from scrapling.fetchers import Fetcher
page = Fetcher.get("https://www.kejimiaozai.com/")
print("网页状态:", page.status)
for link in page.css("h2 a, h3 a")[:5]:
    title = link.text.strip()
    url = link.attrib.get("href")
    if title:
        print(title, url)

不用先记住每个英文单词。网址决定读取哪个网页,h2 a, h3 a 用来找标题里的链接,最后几行负责把内容显示出来。换成别的网站时,找标题的规则可能也需要改,不能只换网址就指望通用。

第 2 步:运行并检查结果

python demo.py

预期先看到网页状态 200,表示这次请求成功;后面如果找到了文字标题,会继续显示标题和对应网址。我原来的测试约 1.04 秒返回,这只是当次记录,不是固定速度。

不用手动复制网页内容:Scrapling 安装和使用教程
demo.py 实测输出:网页状态 200 与首页文章标题链接

如果只有状态码、没有标题,先检查页面里是否真的有这些标题。首页样式可能变化,有些链接也只有图片、没有文字;这时需要调整取内容的规则,不代表安装失败。

想提取价格,可以再试一段本地示例

先不访问其他网站,把两件商品写成一小段演示网页,更容易看懂结果。新建 price_demo.py,保存后用 python price_demo.py 运行:

from scrapling.parser import Selector
sample = """
<div class="item"><span class="price">¥30</span></div>
<div class="item"><span class="price">¥168</span></div>
"""
page = Selector(sample)
for price in page.css(".item .price"):
    print(price.text)

预期显示 ¥30 和 ¥168。这两个数字只是练习数据,不是实时商品价格。这里的 .item .price 相当于告诉程序:去商品区域里找价格。

不用手动复制网页内容:Scrapling 安装和使用教程
price_demo.py 实测输出:¥30 与 ¥168

网页改版后,怎么处理?

我把演示网页里的 item 改成 row、price 改成 cost 后,旧规则就找不到价格了。最直接的解决办法是查看新版页面,把规则改成 .row .cost,再核对结果数量。

不用手动复制网页内容:Scrapling 安装和使用教程
改版后实测:旧规则无结果,新规则 .row .cost 找回 ¥30 与 ¥168

Scrapling 的自动找回功能可以辅助处理这种变化,但我的测试中只找回了 ¥30,没找回 ¥168;再配合 find_similar() 寻找相似项目,才补齐另一项。页面结构变化更大时,这次测试连一项都没找回。做核价或列表整理时,记得比较数量、抽查内容,别让程序少拿了数据,自己还以为收齐了。

第一次用,完成「网页状态 200,并显示标题链接」就够了。等这个小例子能跑,再换成自己有权限整理的页面。项目地址:D4Vinci/Scrapling。

正文完
 0

版权声明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。

科技喵仔
版权声明:本站原创文章,由 科技喵仔 于2026-11-05发表,共计2246字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)
验证码
    中文English