Linux系统Python编程实践(四)——python3爬取数据     DATE: 2024-04-29 04:40:52

Linux系统Python编程实践(四)——python3爬取数据

摘要:Python是程实一种面向对象的解释型计算机程序设计语言 ,具有丰富和强大的践p据库, 广泛应用于系统管理任务的处理和Web编程 。本文主要介绍在Linux环境中有关python3.7.0的取数使用 ,包含怎么利用Python3爬取网站数据 ,程实怎么与Mysql数据库连接,践p据并将爬取古来的取数数据库保存打数据库中等内容。详细情况请参考下文 。程实

一 、践p据登录系统

1、取数登陆linux系统

Linux系统Python编程实践(四)——python3爬取数据

2、查看默认的践p据Python

Linux系统Python编程实践(四)——python3爬取数据

备注:按Ctrl+D或者执行命令exit() 、quit()可以退出python 。取数

二、程实Mysql数据库创建数据表

1、践p据登陆数据库

Linux系统Python编程实践(四)——python3爬取数据

2、创建数据表

执行指令创建数据表iciba_daily_sentence 。执行效果如下

Linux系统Python编程实践(四)——python3爬取数据

三、Python3爬取网站数据

1、安装Python3爬取工具包

Python爬取数据使用到的模块有json ,pymysql和requests模块 ,json是python自带的 ,pymysql和requests需要安装 。其安装过程如下  。

执行pip3指令安装pymysql模块。如下图

Linux系统Python编程实践(四)——python3爬取数据

执行pip3指令安装requests模块 。如下图

Linux系统Python编程实践(四)——python3爬取数据

2、Python3爬取金山词霸每日一句并保存到MySQL数据库

执行指令# vim iciba.py编写爬取数据程序 。如下图

Linux系统Python编程实践(四)——python3爬取数据

备注 :代码中的JSON字段解释如下  :

属性名

属性值类型

说明

dateline

String

时间

caption

String

标题

content

String

英文内容

fenxiang_img

String

合成图片,分享微博用的

note

String

中文内容

picture

String

图片地址

picture2

String

大图片地址

translation

String

词霸小编

tts

String

音频地址

执行指令# python iciba.py的效果如下图

Linux系统Python编程实践(四)——python3爬取数据

3、查看mysql数据库

执行数据库指令> select * from iciba_daily_sentence; 查询效果如下

Linux系统Python编程实践(四)——python3爬取数据