当前位置: 首页 > news >正文

哈尔滨做平台网站平台公司吗网站点击量 哪里查询

哈尔滨做平台网站平台公司吗,网站点击量 哪里查询,深圳专业优定软件网站建设,视觉设计作品集范例目录 资源链接 一、网站选择 二、数据爬取要求 三、数据清洗要求 四、实现代码 1.数据采集 2.数据清洗 资源链接 下面有笔者所放的源码下载链接,读者可自行下载: 链接:https://pan.baidu.com/s/1YmTdlnbSJLvLrrx92zz6Qg 提取码&…

目录

资源链接

一、网站选择

二、数据爬取要求

三、数据清洗要求

四、实现代码

1.数据采集

2.数据清洗


资源链接

下面有笔者所放的源码下载链接,读者可自行下载:

链接:https://pan.baidu.com/s/1YmTdlnbSJLvLrrx92zz6Qg 
提取码:wkk6

一、网站选择

scrapy官方提供的网站:Quotes to Scrape

二、数据爬取要求

使用requests库,获取1-10页的名人名言页面,获取名人名言和作者两项信息,结果存放到“名人名言.csv”文件中,并将文件保存在data目录下,如果目录不存在,则先创建目录.

三、数据清洗要求

读取“名人名言.csv”,数据列名为“名言”和“姓名”,删除数据项为空的数据,删除重复数据,增加“时间”列,数据为“2023-06”,结果存放到“清洗结果.csv”中,保存在data目录。

四、实现代码

1.数据采集

import requests  # 导入用于发送HTTP请求的库
from bs4 import BeautifulSoup  # 导入用于解析HTML的库
import csv  # 导入用于处理CSV文件的库
import os  # 导入用于进行操作系统相关操作的库# 定义函数 get_html,用于获取网页内容
def get_html(url, time=10):try:# 发送HTTP GET请求re = requests.get(url, timeout=time)# 设置编码re.encoding = re.apparent_encoding# 如果请求返回状态码不是200,抛出异常re.raise_for_status()return re.text  # 返回网页内容except Exception as error:print(error)  # 输出错误信息# 定义函数 parser,用于解析HTML内容并提取数据
def parser(html):soup = BeautifulSoup(html, "lxml")  # 使用BeautifulSoup解析HTMLout_list = []  # 初始化存储结果的列表# 遍历所有符合条件的元素for row in soup.select(".quote"):text = row.select_one(".text").get_text(strip=True)  # 提取名言文本author = row.select_one(".author").get_text(strip=True)  # 提取作者名字out_list.append([text, author])  # 将结果添加到列表return out_list  # 返回结果列表# 定义函数 save_csv,用于将数据保存到CSV文件中
def save_csv(item, path):directory = os.path.dirname(path)  # 获取文件目录路径if not os.path.exists(directory):  # 如果目录不存在os.makedirs(directory)  # 创建目录# 以追加模式(a+)打开CSV文件with open(path, 'a+', newline='', encoding='utf-8') as f:csv_write = csv.writer(f)  # 创建CSV写入对象csv_write.writerows(item)  # 写入数据# 主程序
if __name__ == "__main__":# 遍历前10页for i in range(1, 11):url = "http://quotes.toscrape.com/page/{0}/".format(i)  # 构造URLhtml = get_html(url)  # 获取HTML内容out_list = parser(html)  # 解析HTML并提取数据save_csv(out_list, "data/名人名言.csv")  # 保存数据到CSV文件print("名人名言已保存到:data/名人名言.csv")  # 输出提示信息

 代码解释:

从一个名言网站 http://quotes.toscrape.com/ 爬取名言数据,并保存到本地的 CSV 文件中:

  1. 导入必要的库

    • requests 用于发送HTTP请求
    • BeautifulSoup 用于解析HTML
    • csv 用于处理CSV文件
    • os 用于处理文件和目录
  2. 定义 get_html 函数

    • 接受一个URL和超时时间参数,发送GET请求获取网页内容
    • 请求成功则返回网页内容,否则打印错误信息
  3. 定义 parser 函数

    • 接受HTML内容,使用BeautifulSoup解析HTML
    • 从HTML中提取包含名言和作者信息的元素,存储在一个列表中并返回
  4. 定义 save_csv 函数

    • 接受要保存的数据和目标文件路径
    • 检查并创建存储目录(如果不存在)
    • 以追加模式打开CSV文件,将数据写入文件
  5. 主程序执行部分

    • 遍历前10页,构造每个页面的URL
    • 获取每个页面的HTML内容,解析并提取数据
    • 将提取的数据保存到指定的CSV文件中
  6. 输出提示信息

    程序结束后,输出提示信息,告知数据已保存到特定位置

2.数据清洗

import pandas as pd  # 导入用于数据处理的Pandas库# 定义函数 clean_data,用于清洗数据
def clean_data(input_path, output_path):# 读取CSV文件并指定列名为"名言"和"姓名",不使用文件的头部信息作为列名df = pd.read_csv(input_path, names=["名言", "姓名"], header=None, encoding='utf-8')# 删除包含缺失值的行df.dropna(inplace=True)# 删除重复的行df.drop_duplicates(inplace=True)# 添加新列"时间",赋值为固定时间"2023-06"df["时间"] = "2023-06"# 将处理后的数据保存到CSV文件中,不保存索引信息df.to_csv(output_path, index=False, encoding='utf-8')# 主程序执行部分
if __name__ == "__main__":input_file = "data/名人名言.csv"  # 输入文件路径output_file = "data/清洗结果.csv"  # 输出文件路径clean_data(input_file, output_file)  # 调用clean_data函数进行数据清洗print("清洗后的数据已保存到:data/清洗结果.csv")  # 输出提示信息

 代码解释:

对输入的CSV文件进行处理后保存为新的CSV文件。

  1. 导入必要的库

    pandas 用于数据处理
  2. 定义 clean_data 函数

    • 该函数接受输入文件路径和输出文件路径作为参数
    • 使用Pandas读取CSV文件,指定列名为"名言"和"姓名",不使用文件头部信息作为列名
    • 删除包含缺失值的行和重复行
    • 添加新列"时间",所有行的值都设为"2023-06"
    • 将清洗后的数据保存到输出文件中,不保存索引信息
  3. 主程序执行部分

    • 指定输入文件和输出文件的路径
    • 调用 clean_data 函数,对数据进行清洗操作
    • 输出提示信息,告知清洗后的数据已保存到特定位置
http://www.ritt.cn/news/20146.html

相关文章:

  • 好的网站有哪些长尾关键词爱站
  • 专做旅游酒店特价网站营销助手
  • 网站建设 上海网百度的推广方式有哪些
  • 哈尔滨企业建站系统模板浙江百度代理公司
  • 自己想做个网站 费用游戏推广文案
  • 做互联网网站赚钱吗怎么去做推广
  • 如何选择合肥网站建设软文形式推广产品
  • 网站制作时友情链接翻译
  • 怎么改网站域名深圳seo推广培训
  • 网站制作用的软件有哪些天津百度网站排名优化
  • 出版社网站建设方案合肥网站制作
  • 增城网站建设网络怎么做推广
  • 石家庄专业信息门户网站定制聊城seo培训
  • 网站做管理员消息推送南宁百度seo排名公司
  • 门户网站建站注意事项电脑版百度入口
  • 做网站网什么是竞价推广
  • 做旅游网站当地人服务赚钱吗域名批量查询
  • 加强对网站建设百度网站优化排名
  • 手机触屏版网站开发推广渠道有哪些
  • 北京网站建设华网天下买送两年深圳龙岗区布吉街道
  • 汉沽天津网站建设互联网营销推广渠道
  • 微信开发网站开发重庆森林电影简介
  • 巫山做网站哪家强如何提高网站的搜索排名
  • 重庆网站建设公司建站模板北京效果好的网站推广
  • 杭州市做网站的公司上海不限关键词优化
  • 无锡做网站哪家好长沙官网seo分析
  • 介绍小说的网站模板下载地址永久免费建站系统
  • 深圳自建站网站做企业推广
  • 观澜做网站采集站seo赚钱辅导班
  • 专做律所网站成都百度推广排名优化