网络爬虫1

import requests

response = requests.get('https://picsum.photos/600/400')
response.raise_for_status()

with open('demo.png','wb') as f:
    f.write(response.content)

数量词的贪婪模式
正则表达式通常用于在文本中查找匹配的字符串。Python 里数量词默认是贪婪的（在少数语言里也可能是默认非贪婪），总是尝试匹配尽可能多的字符；非贪婪的则相反，总是尝试匹配尽可能少的字符。例如：正则表达式 ”ab\*” 如果用于查找 ”abbbc”，将找到 ”abbb”。而如果使用非贪婪的数量词 ”ab*?”，将找到 ”a”

我们一般用非贪婪模式

反斜杠

原生字符串：r“d”

取消python本身的转换

pattern=re.compile(patter,flags=0)
#pattern='<string>'
re.match(pattern,string,flags=0)
    #prog = re.compile(pattern)
    #result = prog.match(string)
    #必须从开始处匹配，否则返回 None
re.search(pattern,string,flags=0)

re.split(pattern, string, maxsplit=0,flags=0)
re.findall(pattern,string,flags=0)
re.finditer(pattern,string,flags=0) #return to a iterator
re.sub(pattern, repl, string, count=0, flags=0) 
    #repl可以是字符串，函数，顺序模板
    #count 用于指定最多替换次数，不指定时全部替换
re.subn(pattern, repl, string, count=0, flags=0)
    #返回 字符串和替换次数组成的元祖

def replaceTool(self,x):
        removeImg=re.compile('<img.*?>')
        removeAddr = re.compile('<a.*?>|</a>')
        #把换行的标签换为\n
        replaceLine = re.compile('<tr>|<div>|</div>|</p>')
        #将表格制表<td>替换为\t
        replaceTD= re.compile('<td>')
        #把段落开头换为\n加空两格
        replacePara = re.compile('<p.*?>')
        #将换行符或双换行符替换为\n
        replaceBR = re.compile('<br><br>|<br>')
        #将其余标签剔除
        removeExtraTag = re.compile('<.*?>')
        x = re.sub(removeImg,"",x)
        x = re.sub(removeAddr,"",x)
        x = re.sub(replaceLine,"\n",x)
        x = re.sub(replaceTD,"\t",x)
        x = re.sub(replacePara,"\n    ",x)
        x = re.sub(replaceBR,"\n",x)
        x = re.sub(removeExtraTag,"",x)
        #strip()将前后多余内容删除
        return x.strip()

#urllib.request.urlopen
response = urllib.request.urlopen('https://www.python.org') #HTTPResponse       类的对象
    #methods：
    read()、readinto()、getheader(name)、getheaders()、fileno()
    #属性
    msg、version、status、reason、debuglevel、closed
    status: #200,success;404 未找到网页
    response.read().decode('utf-8')
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None,               capath=None, cadefault=False, context=None) 
    data#data = bytes(urllib.parse.urlencode({'word': 'hello'}),                    encoding='utf8') 
    timeout#超过请求时间则忽略，抛出time out 错误

#urllib.request.Request
request = urllib.request.Request('https://python.org')
response = urllib.request.urlopen(request)  #利用更强大的Request类来构建一个请求
#参数
class urllib.request.Request(url, data=None, headers={}, origin_req_host=None,      unverifiable=False, method=None)
    #headers:字典，add_header()方法来添加请求头，伪装浏览器
    #origin_req_host:请求方的host名称或者IP地址
    #unverifiable: 这个请求是不是无法验证的，默认是False
    #method：请求使用的方法，GET,POST,PUT

#认证
    #创建handler——添加属性——build_opener——install_opener——urlopen
auth_handler = urllib.request.HTTPBasicAuthHandler()
auth_handler.add_password(realm='PDQ Application',
                          uri='https://mahler:8092/site-updates.py',
                          user='klem',
                          passwd='kadidd!ehopper')
opener = urllib.request.build_opener(auth_handler)
urllib.request.install_opener(opener)
urllib.request.urlopen('http://www.example.com/login.html')
#代理
proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://218.202.111.10:80',
    'https': 'https://180.250.163.34:8888'
})  #参数是一个字典，key是协议类型，比如http还是https等，value是代理链接，可以添加    多个代理
opener = urllib.request.build_opener(proxy_handler)
response = opener.open('https://www.baidu.com')
print(response.read())
#cookies
filename = 'cookie.txt'
cookie = http.cookiejar.MozillaCookieJar(filename)
#cookie = http.cookiejar.LWPCookieJar(filename) 
    #保存格式不一样
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)