第5章模拟登录

Imagemap
第5章模拟登录5.1使用表单登录方法实现查找提交入口指登录网页的真实地址,含用户名,密码,验证码等多数使用Post方法提交请求实例一:查www.tipdm.org提交入口实例二:查bigdata.hddly.cn提交入口1打开网站,点击菜单上的登录2打开Chrome开发者工具->网络面板勾选Preserve log刷新页面3在登录页输入账号信息1用户:test2密码:test3输入验证码4点登录4观察网络面板左侧资源列表1过滤.php资源2查找post的方法的资源3找到只有wp-login.php有post方法4查出wp-login.php的url为https://bigdata.hddl ...查找并获取需要提交的表单数据1查找需要提交的表单数据1由上节查到wp-login.php为提交入口2.wp-login.php的Form Datalog:用户名pwd:用户密码captcha_code:验证码wp-submit:提交项redirect_to:成功后跳转到2.处理验证码1识别验证码*人工识别获取生成验证码图片url下载验证码图片参考:获取验证码的三种方式利用urlretrieve()函数链接到 图片url 直接储存图片通过requests直接写入图片利用selenium截图获取图片人工识别验证码程序自动识别:难度大打码接口识别:有费用2代理IP跳过验证码针对反爬出现的验证码获取代理IPVPN*IP代理池ADSL使用requests.get(url,proxies=proxies)实例:SY_5_2_GET_PROXYS_REQUESTS.py使用Post请求方法登录requests.post(url,data=None,json=None,** ...url:提交入口data:表单数据从chrome开发者->网络面板->wp-login.php ->Headers ...将上述Form Data组装成Json:
data = {'log': 'tes ...实例:SY_5_5_SESS_POST_BIGDATA.py5.2使用Cookie登录方法实现Cookie是什么?观看视频使用浏览器Cookie登录获取Cookie登录网站,输入帐号,密码,验证码,保证成功登录网站找到登录成功后返回的页面地址的Cookie打开Chrome开发者的网络面板F5刷新页面,找到网站首面index.html观察Headers标签,找到Cookies,保存下来携带Cookie发送请求粘贴Cookie值赋值给变量cookie_strcookie_str='保存下来的Cookies字符串'将cookie_str处理成dict类型for line in cookie_str.split(';'):...携带Cookie发送请求r.requests.get(login_url,cookies=cookies ...测试是否成功print(r.url)实例参考:SY_5_7_COOKIE_GET_BIGDATA.py基于表单登录的Cookie登录import http库cookiejar模块CookieJar类子类FileCookieJar可以保存Cookie到本地磁盘可从本地磁盘加载Cookie子类 LWPCookieJar*save保存Cookie*load加载Cookie子类MozillaCookiejar与moccilla浏览器兼容管理储存cookiecookie存储在内存中存储 Cookiefrom http import cookiejars=requests.Session()s.cookies=cookiejar.LWPCookieJar('cookie ...使用脚本(+手动输入验证码)登录网站s.cookies.save(filename,ignore_discard,i ...filename默认为空,文件名ignore_discard默认False,将被丢弃也保存ignore_expires默认False,覆盖原文件加载 Cookies.cookie.load(filename,ignore_discard,ig ...filename默认为空,文件名ignore_discard默认False,不存在也加载ignore_expires默认False,覆盖原Cookies.get(login_url,headers=headers)print(r.url) 检查是否登录成功实例:SY_5_9_COOKIE_TRY_BIGDATA.py5.3实训练习使用表单登录方法模拟登录训练要点掌握获取(https://bigdata.hddly.cn)提交入口的方法掌握查找并获取需要提交的表单数据的方法掌握POST请求方法需求说明大数据实验室(https://bigdata.hddly.cn)是大数据学习与交 ...本实训要求发送登录请求后,打印出来的内容是:200 http://bigdata ...bigdata.hddly.cn提交入口的测试帐号: test ,密码也是: t ...实现思路及步骤使用Chrome开发者工具获取大数据实验室(https://bigdata.hd ...使用Chrome开发者工具查找并获取需要提交的表单数据(Form Data)发送POST请求实现表单登录:post(url, data=data)参考实例:SY_5_5_SESS_POST_BIGDATA.py视频讲解http://i.hddly.cn/media/qdotP3kQYm.mp4使用浏览器Cookie模拟登录训练要点掌握获取浏览器Cookie的方法掌握使用浏览器 Cookie登录的方法需求说明使用Chrome登录大数据实验室(https://bigdata.hddly.c ...成功登录后找到主页面的Cookie编写脚本,将Cookie转成dict,利用requests.get请求同时携带C ...预期的输出是:200 https://bigdata.hddly.cn/wp-a ...实现思路及步骤使用Chrome开发者工具获取浏览器Cookie处理已获取的浏览器Cookie数据,将其数据转换为dict携带Cookie发送请求实例参考:SY_5_7_COOKIE_GET_BIGDATA.py视频讲解http://i.hddly.cn/media/W0CMUSyW3m.mp4基于表单登录后的Cookie模拟登录训练要点掌握http库的cookiejar模块存储Cookie的方法掌握http库的cookiejar模块调用Cookie的方法需求说明基于实训一,已经实现表单登录然后再利用cookiejar模块实现Cookie的保存和加载要求最后发送主页后打印出返回对象的响应码和url预期的输出是:200 https://bigdata.hddly.cn/wp-a ...实现思路及步骤表单登录,使用http库的cookiejar模块存储Cookie使用http库的cookiejar模块加载已经存储的Cookie请求 实例:SY_5_9_COOKIE_TRY_BIGDATA.py视频讲解http://i.hddly.cn/media/oONFqnmd5K.mp45.5增强实训使用浏览器Cookie模拟登录方式登录淘宝训练要点加强熟悉获取浏览器Cookie的方法加强熟悉使用浏览器Cookie登录的方法了解项目功能分解方法需求说明使用Chrome登录淘宝首页 https://www.taobao.com/成功登录后找到主页面(www.taobao.com)的Cookie编写脚本1.get_cookie_list:将Cookie字符串转为dict入参:cookie_str:cookie字符串返回:cookie的dict:cookies2.set_logon_taobao:使用Cookie登录淘宝入参1:cookies:get_cookie_list返回的dict入参2:sess:session会话sess = requests.session()返回:code:登录后的返回的状态码3.get_taobao_content:获取内容入参1:sess:session会话sess = requests.session()入参2:url:搜索商品的urlurl=’https://s.taobao.com/search?q=笔记本‘入参3:cookies:get_cookie_list返回的dict返回:content:经过编码后的html内容4.编写主程序main定义cookie_str定义url_notebook:搜索商品的url获取会话sess:调用get_cookie_list调用set_logon_taobao调用get_taobao_content5.编写入口__main__截图提交运行结果:包括搜索到的淘宝商品,本人姓名实例参考实例:SY_5_10_COOKIE_GET_TAOBAO_GOODS.py5.6课堂视频任务一使用表单模拟登录:http://i.hddly.cn/media/VID_ ...任务二使用Cookie模拟登录:http://i.hddly.cn/media/ ...任务一使用表单模拟登录(仅桌面):VID_20211105_155545.mp4
hide
第5章模拟登录
hide
5.1使用表单登录方法实现
hide
5.2使用Cookie登录方法实现
hide
5.3实训练习