Python 采集腾讯视频数据存储到数据库

2019-06-23    标签:Python    阅读:623   


pymysql 安装

卸载原有的 pymysql,再执行安装 install pymysql

image.png

数据表

image.png

Py代码:

# 引入开发包
from urllib import request
from bs4 import BeautifulSoup
import re
import pymysql.cursors

req = request.Request('https://v.qq.com/channel/tv')
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36")
resp = request.urlopen(req).read()
# 使用BeautifulSoup去解析
soup = BeautifulSoup(resp, 'html.parser')
# 获取所有https://v.qq.com/x/cover/开头的a标签的href属性
listurl = soup.find_all("a", href=re.compile("^https://v.qq.com/x/cover/"))
# 输出所有词条对应名称和url
for url in listurl:
    # print(url.get_text(), '——>', "https://v.qq.com/channel/tv"+url['href'])
    # 获取数据库链接
    connection = pymysql.connect(host='localhost',
                                 user='root',
                                 password='root',
                                 db='xsbike',
                                 charset='utf8mb4')
    try:
        # 获取回话指针
        with connection.cursor() as cursor:
            # 创建sql语句
            sql = "insert into `pyurl`(`urlname`, `urllink`) values(%s, %s)"
            # 执行sql语句
            cursor.execute(sql, (url.get_text(), url['href']))
            # 提交
            connection.commit()
    finally:
        connection.close


【腾讯云】云产品限时秒杀,爆款1核2G云服务器,首年99元 618年中云钜惠大促,精选云产品1折起,助力新基建,618年中大促云服务器88元

‘简忆博客’微信公众号 扫码关注‘简忆博客’微信公众号,获取最新文章动态
转载:请说明文章出处“来源简忆博客”。http://www.tpxhm.com/adetail/155.html

×
觉得文章有用就打赏一下文章作者
微信扫一扫打赏 微信扫一扫打赏
支付宝扫一扫打赏 支付宝扫一扫打赏

文章评论(0)

登录

博主信息

头像

简忆博客
仕而优则学,学而优则仕。

置顶推荐

打赏本站

如果你觉得本站很棒,可以通过扫码支付打赏哦!
微信扫码:你说多少就多少~
微信扫码
支付宝扫码:你说多少就多少~
支付宝扫码
×