Python支持数据库操作,只需要使用 DB-API就可以了,我们可以将爬取来的数据存入数据库,用于分析。

Python 数据库接口支持非常多的数据库,你可以选择适合你项目的数据库(我经常用的):

  • Mysql
  • Microsoft SQL Server
  • Oracle

不同的数据库你需要下载不同的DB API模块,例如你需要访问Oracle数据库和Mysql数据,你需要下载Oracle和MySQL数据库模块。

下面以Mysql为例子进行操作:

安装mysql API模块

记得要安装依赖,不然会报错。

连接数据库的操作

连接数据库后可以使用游标执行SQL并返回结果

游标用来执行命令的方法:

  • callproc(self, procname, args) 用来执行存储过程,接收的参数为存储过程名和参数列表,返回值为受影响的行数
  • execute(self, query, args) 执行单条sql语句,接收的参数为sql语句本身和使用的参数列表,返回值为受影响的行数
  • executemany(self, query, args) 执行单挑sql语句,但是重复执行参数列表里的参数,返回值为受影响的行数
  • nextset(self) 移动到下一个结果集

插入数据

游标用来接收返回值的方法:

  • fetchall(self) 接收全部的返回结果行.
  • fetchmany(self, size=None) 接收size条返回结果行.如果size的值大于返回的结果行的数量,则会返回cur条数据.
  • fetchone(self) 返回一条结果行.
  • rowcount 这是一个只读属性,并返回执行execute() 方法后影响的行数。
  • scroll(self, value, mode='relative') 移动指针到某一行; 如果mode='relative',则表示从当前所在行移动value条,如果 mode='absolute',则表示从结果集的第一行移动value条.

相关推荐