TypechoJoeTheme

Dcr163的博客

统计
搜索到 3 篇与 python 的结果
2021-11-13

使用python模拟登陆github网站

使用python模拟登陆github网站
python登陆github网站使用python模拟登陆Github网站,下面是代码要是没有 BeautifulSoup 解析库,请先安装。安装命令:pip install beautifulsoup4#!/usr/bin/python3 # -*- conding:utf-8 -*- # 使用【Beautiful Soup】模拟登陆github网站 import requests from bs4 import BeautifulSoup if __name__ == '__main__': headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36', } # 构建一个请求会话 with requests.session() as session: session.headers = { ...
2021-11-13

日志

1,714 阅读
0 评论
2021年11月13日
1,714 阅读
0 评论
2021-11-13

Python使用lxml抓取网站信息演示

Python使用lxml抓取网站信息演示
python中使用lxmlpython中使用lxml这个库抓取网页内容是比较简单的,下面是一个演示案例#!/usr/bin/python3 # -*- conding:utf-8 -*- import requests, hashlib from lxml import etree # 抓取的url url = 'http://www.dcr163.cn' # 设置hearder头信息 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36', } # 请求url res = requests.get(url, headers=headers) # 生成etree对象,用来xpath解析 htmls = etree.HTML(res.text) # 查找 mate 标签,属性http-equiv="Content-Language&q...
2021-11-13

日志

1,299 阅读
0 评论
2021年11月13日
1,299 阅读
0 评论
2021-05-18

python抓取个性说说网内容,并分隔内容语句入库

python抓取个性说说网内容,并分隔内容语句入库
python抓取个性说说网内容,并分隔内容语句入库废话不多说,直接上代码,代码中的数据库和相关的依赖都改成自己的#!/usr/bin/python3 #-*- conding:utf-8 -*- # https://www.gexings.com/ 抓取个性说说网 import requests,re,os,html as Htmls,time,MySQLdb # 获取说说网的内容 def getToask(url): # 抓取的网页链接 catUrl = url headers = {'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Mobile Safari/537.36'} r = requests.get(catUrl, headers=headers) # Htmls.unescape(trueUrl[0]) 把网页的特殊...
2021-05-18

日志

1,526 阅读
0 评论
2021年05月18日
1,526 阅读
0 评论