本文共 2074 字，大约阅读时间需要 6 分钟。

情话爬取技术文档

一、场景分析

情话网站的HTML结构中，情话内容位于class属性为list-short-article的div元素中。该div下的a标签的text即为情话内容。需要注意的是，每个a标签的target属性为_blank。

二、实现步骤

1. 爬取逻辑分析

通过观察网站URL可发现，情话页面的前缀部分一致，后面仅跟页码不同。因此，可以通过循环从1到69页爬取情话内容。

2. 爬虫代码实现

import requestsimport osfrom bs4 import BeautifulSoup as BSheaders = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',    'cookie': 'acw_tc=6f3e47cc15498749418558688e3d6410ea97be9a552b180841c5079605; PHPSESSID=s2hjdg3slh32omchfsib4himk0; UM_distinctid=168dbbfe8c533e-0e42df11c1c0a7-9393265-100200-168dbbfe8c71088; CNZZDATA1256319371=345851669-1549873534-%7C1549873534; CNZZDATA1257119496=134880590-1549870452-%7C1549870452; Hm_lvt_a48e6ab107a4e68d47e6fdb5d83961e5=1549875015; Hm_lvt_3c8ecbfa472e76b0340d7a701a04197e=1549875021; CNZZDATA1254708131=653924416-1549874976-%7C1549874976; CNZZDATA1275922735=1673340420-1549874690-%7C1549874690; CNZZDATA1257131565=1820590917-1549873827-%7C1549873827; CNZZDATA1257125147=1301871275-1549871347-https%253A%252F%252Fwww.duanwenxue.com%252F%7C1549871347; Hm_lpvt_a48e6ab107a4e68d47e6fdb5d83961e5=1549875906; Hm_lpvt_3c8ecbfa472e76b0340d7a701a04197e=1549875913; ajax_award_timestamp=1549875887; ajax_award_timestamp__ckMd5=706904497e9c8dfd; ajax_award_key=94a17405d22ab8aacbabbbfdb9d4740c; ajax_award_key__ckMd5=3e97bde02ab1998d'}def Get_data():    for i in range(1,70):        url = f'https://www.duanwenxue.com/huayu/tianyanmiyu/list_{i}.html'        response = requests.get(url, headers=headers)        parse_text(response.text)def parse_text(text):    if text:        soup = BS(text, 'lxml')        arttis = soup.find('div', class_='list-short-article').find_all('a', {'target': '_blank'})        articles = [arttis[i].text.strip() for i in range(len(arttis))]        with open('Love_words.txt', 'a', encoding='utf-8') as f:            for line in articles:                f.write(f'{line}\n')

3. 运行效果

爬虫完成后，情话内容将被存储在Love_words.txt文件中，每条情话独立成行。运行过程中请确保网络环境稳定。

三、源码及情话下载

上述代码提供了完整的爬取逻辑，感兴趣的可将代码复制至本地环境运行。爬取完成后，可在此目录下下载Love_words.txt文件获取情话内容。

转载地址：http://pclfk.baihongyu.com/