法治网站的建设整改措施,wordpress 医疗,做网站用新域名还是老域名,北京海淀建设银行网点查询前言
网络爬虫#xff08;Web Crawler#xff09;#xff0c;也称为网页蜘蛛#xff08;Web Spider#xff09;或网页机器人#xff08;Web Bot#xff09;#xff0c;是一种按照既定规则自动浏览网络并提取信息的程序。爬虫的主要用途包括数据采集、网络索引、内容抓…前言
网络爬虫Web Crawler也称为网页蜘蛛Web Spider或网页机器人Web Bot是一种按照既定规则自动浏览网络并提取信息的程序。爬虫的主要用途包括数据采集、网络索引、内容抓取等。
爬虫的基本原理
种子 URL爬虫从一个或多个种子 URL 开始这些 URL 是起点。发送请求爬虫向这些种子 URL 发送 HTTP 请求通常是 GET 请求。获取响应服务器返回网页的 HTML 内容作为响应。解析内容爬虫解析 HTML 内容提取所需的数据如文本、链接、图片等。提取链接从网页中提取出所有链接并将这些链接加入待访问队列。重复过程爬虫重复上述步骤直到达到某个停止条件如爬取了一定数量的页面或所有页面都被爬取完毕。
爬虫的分类 通用爬虫 设计用于抓取整个互联网的大量网页。搜索引擎如 Google、Bing的爬虫就是通用爬虫。 聚焦爬虫 专注于特定主题或领域抓取相关网页。比如一个新闻爬虫只抓取新闻网站的内容。 增量爬虫 仅抓取自上次爬取以来发生变化或更新的网页适用于动态内容更新频繁的网站。
爬虫的合法性和道德
在编写和运行爬虫时必须遵循以下原则 遵守网站的 robots.txt 大多数网站都有一个 robots.txt 文件规定了哪些页面允许被爬取哪些不允许。爬虫应当尊重这些规则。 避免过度抓取 设置适当的抓取频率避免对服务器造成过大负担。 尊重版权和隐私 不应抓取或使用受版权保护的内容或涉及用户隐私的数据。 获取许可 在某些情况下最好获得网站管理员的许可特别是当你打算频繁地抓取大量数据时。
通过以上方法和原则可以编写高效、可靠且合规的网络爬虫来满足数据采集的需求。
侦察
这个比较简单直接抓包就可以看到数据来源 保存请求网址 检查数据在页面标签中的位置 标题在 td-02 中 热度在 span 中 源代码
import parsel
import csv
import requests# 创建 csv 文件
# a 表示以追加模式append mode打开文件
# newline的作用是确保在写入文件时所有的换行符都使用\n
f open(res.csv, a, encodingutf-8, newline)# csv.DictWriter 类用于将字典格式的数据写入 CSV 文件
# 每个字典表示一行字典的键对应 CSV 文件的列名
csv_writer csv.DictWriter(f, fieldnames[排名, 标题, 热度])# 写入表头行包含指定的字段名
csv_writer.writeheader()# 请求地址
url https://s.weibo.com/top/summary?caterealtimehot# 伪造请求头及 cookie
headers {cookie: SUB_2AkMR8Bzkf8NxqwFRmf0XzGvjb4x3zwHEieKnrO0_JRMxHRl-yT9kqmMHtRB6OnAyC3ZtjaT5q1jwM0_aHrCMEvlnAj-o; SUBP0033WrSXqPxfM72-Ws9jqgMF55529P9D9WFTP2MxWPjMdfqH2lQ8Jx9_; _s_tentrypassport.weibo.com; Apache9034410052178.598.1722586067660; SINAGLOBAL9034410052178.598.1722586067660; ULV1722586067671:1:1:1:9034410052178.598.1722586067660:,user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36
}response requests.get(url, headersheaders)# 使用 parsel.Selector 类将响应文本传递给 Selector 对象
# Selector 对象能够解析和处理 HTML 或 XML 文本
selector parsel.Selector(response.text)# 选择 div idpl_top_realtimehot 中的 tbody 中的 tr
trs selector.css(#pl_top_realtimehot tbody tr)# 定义排序
num 1for tr in trs:# .get() 方法从 SelectorList 中提取第一个匹配项的内容。如果没有匹配项它将返回 None# 获取热搜标题title tr.css(.td-02 a::text).get()# 获取热搜热度hot tr.css(.td-02 span::text).get()# 创建字典保存数据dic {排名: num,标题: title,热度: hot,}print(dic)# writerow 写入数据csv_writer.writerow(dic)num 1项目效果
