requests.request(method,url,**kwargs)
**kwargs:控制访问的参数，均为可选项? ?params? ?data? ? headers? ? json? cookies? ? file? ? auth? ? timeout? ?proxies
?allow_redirects? :? True/False? 默认为True，重定向开关
stream? ：?True/False? 默认为True，获取内容立即下载开关
verify? ：??True/False? 默认为True，认证SSL证书开关
cert ： 本地SSL证书路径
requests.get(url,params = None,**kwargs)
url? ? ?:? ? ? 获取页面的url链接
params? ? ?:? ? ? url中的额外参数，字典或者字节流格式，可选
**kwargs? ? :? ? ? 12个控制访问参数
requests.post(url,data= None,json=None,**kwargs)
url? ? ?:? ? ? 获取页面的url链接
data:? ? ? 字典、字节序列或者文件，Request的内容
json? ? ：? JSON格式的数据，Request的内容
**kwargs? ? :? ? ? 11个控制访问参数
异常：
flag= False
while not flag:
? ? ? try:
? ? ? ? ? ?requests.adapters.DEFAULT_RETRIES= 15? #增加重试连接次数
? ? ? ? ? ?s= requests.session()#关闭多余的连接
? ? ? ? ? ? s.keep_alive= False? ? ? ? ? ? ? ? ? ? #requests 设置False关闭
? ? ? ? ? ? import urllib3.contrib.pyopenssl
? ? ? ? ? ? urllib3.contrib.pyopenssl.inject_into_urllib3()
? ? ? ? ? ??r= requests.get(url=url,headers=headers,verify=False,stream=False,timeout=30)? ? #证书验证设FALSE,timeout为30
? ? ? ? ? ? r.raise_for_status()?? ? ? ? ? ? ?#不是200，抛出异常requests.HTTPError
? ? ? ? ? ? r.encoding= r.apparent_encoding
? ? ? ? ? ? ?print("采集网页的状态码：%s" % r.status_code)
? ? ? ? ? ? ? print("采集网页的URL：%s" % r.url)
except:
? ? ? ? ? ? print('[ %s ] HTTP请求失败?。?！正在准备重发。。。' %url)
? ? ? ? ? sleep(3)
? ? ? ?continue
? ? ? ?flag= True
r.close()
html_title= "".join(etree.HTML(r.text).xpath('//title/text()'))
print("采集网页的标题：%s" %html_title)
title_path= './Domain_Title.txt'
savefile(title_path, html_title)
print("爬取完成:对%s目标地址采集完成" % url)
#sleep(0.3)
print("*"*70)
反爬虫：? 1? ?User-Agent? ? 2? ?Robots.txt协议? ?自动或者人工识别，再进行内容爬取。
robots.txt协议的查找? ? ? ? ? ? ? ? ? ? ? ?https://www.baidu.com/robots.txt
Robots.txt协议 是建议但非约束性，网络爬虫可以不遵守，可能存在法律风险。
类人行为可以不遵守，爬取量很小或者爬取时间很短或者爬取次数很少。但是获取的资源不能进行商业用途。
os.path.exist()? ? ? ?os.path.isfile()
pip? ?install? ?beautifulsoup4? ? ? #bs4库将任何读入的html文件或字符串都转换成了utf-8格式? 使用python3更合适
from? ?bs4? ?import? ?BeautifulSoup? ? #是解析html或者xml文档的库? ,BS4库的标签树的遍历
优点：? 信息解析准确。
缺点： 提取过程繁琐，速度慢！
soup = BeautifulSoup("<p>中文</p>","html.parsel")
soup.prettify()? ? ? #这个方法能为文本以及html的标签增加换行符、补全标签
print(soup.p.string)
print(soup.p.prettify())
soup = BeautifulSoup(demo,"html.parsel")
soup.head
soup.head.contents
soup.body.contents
soup.body.contents[1]
