香港开奖直播现场2018

利用账号密码模拟登录新浪微博

发布日期:2019-10-26 14:40   来源:未知   

  前几个月研究了下利用账号密码模拟登录新浪微博,搞了好长时间都没有结果,最后无赖的使用cooike爬到了数据。这几天因为自己要做个东西,必须用账号密码登录,于是又研究了下,结果很快就弄出来了。想想之前搞了那么常时间都没弄出来,难道我在这几个月里编程水平提高了??? -_-

  1,本来想直接使用火狐提供的httpfox,但是就在前几天火狐浏览器突然升级了,然后这个工具我就找不到了。

  2,在使用fiddler的时候,若抓取不到chrome中的数据,原因很可能是你用了一些插件使fiddler抓取不到数据,需要将插件关闭。

  3,现在新浪都使用的是https的连接了,所以需要在fiddler中设置抓取https。本来想用火狐的,结果前几天升级了,导致fiddler导入的证书不安全,根本访问不了新浪的网址。真是r了狗。

  使用fiddler的一个好处就是抓取的信息很完整,至少感觉比httpfox要完整。这次使用fiddler好好的查看了下新浪认证的流程,下面总结一下。

  新浪有很多个登录入口,而新浪使用了SSO(单点登录)的方法进行认证,即:在一个登录节点登录后,访问其他的网络服务时,红馆精英i高手论坛,就不需要登录了。所以如果你想要模拟登录微博,其实不用直接模拟登录因为很可能还会让你输入登录的验证码什么的。特别麻烦。这里选择了另一个登录网址,通过这个网址登录不用输入验证码,但是此时登录的还不是微博,在上面的那个网址认证成功后,利用得到的cookie再去weibo.com或证,最后获取weibo.com或weibo.cn的cookie,之后爬取数据就可以通过cookie进行了也就是我之前写的那篇博客。

  然后输入用户名,密码。点击登录。在fiddler上能看到请求了很多网址。

  其中,1对应了新浪的预登录,2表示新浪的正式登录,3,311211黄大仙手论坛。表示获取weibo.com的跨域认证。4表示到weibo.cn的跨域认证。而我们所需要的就是3,4返回的cookie。

  在fiddler中点击带1中prelogin的url时,可以看到请求时的参数和请求返回的参数,请求的参数如下:

  根据其他博主的探索可以知道,su表示的加密后的用户名,加密算法为base64。_为时间戳,其他的值是固定的。

  其中比较重要的是nonce,pubkey,rsakv,以及servertime参数。在下一步的加密密码时需要用到。

  在1中预登录完成后,会继续请求2的url。在请求2中的url时,是post,post的数据如下:

  可以看到在预登录中返回的nonce,pubkey,rsakv,以及servertime参数都加入到了该post的data中,其中的sp表示的是加密后的密码,用到的是ras加密,根据其他博主的探究得知加密的公钥是上一步中的pubkey+js文件中指定的“10001”模块。然后再加上上步得到的servertime以及nonce参数。对于加密这一块并不是很懂,所以在程序中只是调用ssologin.js文件中加密部分对密码进行加密。post的其他参数目前固定,所以直接填入即可。

  在上一步中返回了weibo.com,weibo.cn的登录地址,现在所做的就是访问这几个url,带上第二部中得到的cookie就可以成功的获取到weibo.com,或weibo.cn的cookie。最后带上获取的cookie就可以爬取页面数据了。

  悲伤的消息:博主今天用程序模拟登录时发现不能登录到weibo.cn,可以登录到weibo.com。每次登录weibo.cn的时候都是重定向到登录界面,但是程序显示的结果确实是获取到了weibo.cn的cookie。好伤心。请问有人研究过登录weibo.cn的小伙伴能跟我交流一下QAQ2017-12-05

  个人推荐爬去weibo.cn的数据,因为在weibo.com中涉及到页面的分步加载,以及页面返回的是unicode等问题,操作繁琐。所以爬去weibo.cn的数据要简单。

  微博登录的流程大致是这样,但是新浪会时不时改动登录的逻辑,但是改动应该不会很大,所以使用时,请务必按照以上步骤自己试验一遍看看是否有参数发生了变化。代码已上传:

  模拟密码登录场景,首先设置密码,然后登录输入密码,如果密码正确,则显示登录成功,密码错误可以重新输入,输入三次后密码还不正确的话就提示登录失败。#define_CRT_SECURE_NO_WARNIN...博文来自:的博客

  目录模拟登陆的原因如何模拟登陆实战demo模拟登陆的原因很多网站,我们是无法直接获得服务器返回的数据,需要输入用户名及密码才能看到数据。如我们登陆人人网时,网站网址博文来自:qy20115549的博客

  首先还是照常分析用户名、密码和登录的CSS,如下图在新浪微博的登录时一定要注意sleep一下,等他的JS加载完。对所有异步加载的网站,在登陆时都得这样。importtimefromseleniumim...博文来自:Fitz的博客

  B/S我现在A系统想直接登录B系统 不同域名,并且更改不了B系统,但是知道B系统的账号密码。由于B系统的登录功能是登录成功后JS存储COOKIE ,所以目前还不知道怎么样的解决。我尝试了一些办法 还是论坛

  详细内容见程序注释.lt;?php/***功能:模拟新浪微博登陆*用途:模拟用户登陆,以便进行后续操作,比如自动化的控制自己的新浪app刷新某些数据*注意事项:* 1.需要安装nodejs*...博文来自:数据库天地

  环境:浏览器:chrome64python3.6ps:python新手,写得不好求轻喷ps:这是更加纯净的微博内容页面思路步骤:打开微博移动端网址并登录,如找到目标人物的微博,并按F12打开开发者模式...博文来自:Nick12138_2017的博客

  一、写在前面首先呢,由于之前重装系统,又要重新配置环境,然后还有一些别的事,导致我一直没有写爬虫了,不过现在又可以继续写了。然后我这次说的模拟登录新浪微博呢,不是使用Selenium模拟浏览器操作,毕...博文来自:weixin_34289744的博客

  前几天做了一个Java的新浪通行证模拟登录测试。现在给大家一个php的新浪通行证、微博登录的示例:具体都有备注,大家阅读代码吧....博文来自:t0m的专栏

  点击上方“程序人生”,选择“置顶公众号”第一时间关注程序猿(媛)身边的故事图:FantasticBeastsandWheretoFindThem投稿星星在线简介一个从妹子图到爬虫爱好者的猿生历程链接h...博文来自:程序人生的博客

  java模拟登录新浪微博(通过cookie)博文来自:TYOUKAI_的博客

  最近花了不少时间来学python爬虫,觉得还是有很多问题的,比如说requests.get获得Pixiv的网页源代码,一直获取不到,不过我猜测大概是headers的问题,准备之后处理。废话少说我们先来...博文来自:D_pens的博客

  PC登录新浪微博时,在客户端用js预先对用户名、密码都进行了加密,而且在POST之前会GET一组参数,这也将作为POST_DATA的一部分。这样,就不能用通常的那种简单方法来模拟POST登录(比如人人...博文来自:fei347795790的博客

  【1】背景介绍新浪微博之前模拟登录的密码加密方式是用SHA1的加密方式,近期做了密码加密方式的修改,采用Rsa1密码加密方式。【2】模拟登录的流程介绍(1)首先登录的用户名必须要做一些处理,【nd@1...博文来自:bearhoop IT之道

  这几天要做个获取新浪微博@我的信息,又不用第三方登录,所以只能通过模拟登录来获取信息,研究的一下发现直接模拟登录微博比较困难,验证的算法比较复杂,于是绕道通过登录新浪通行证后来获取cookie来获取信...博文来自:xuepeiyu123的博客

  首先感谢崔大神的书让我对模拟登录了解更细致,其次感谢位博主,模仿他们的帖子1、2最后终于登录成功第一步谷歌浏览器打开F12,登录一下网页,看请求1预登陆,网页内容有post登录需要的信息用户名需要用b...博文来自:Python学习之旅

  前段时间对一个第三方微博app---Share的实现原理非常感兴趣,也想自己实现一个自己的第三方微博app。目标有了,那就去查一下微博数据怎么获取吧。原来微博是有开放第三方接口的,只需要申请一个ap...博文来自:的博客

  2819:W的密码总时间限制:1000ms内存限制:65536kB描述加密一条信息需要三个整数码,k1,k2和k3。字符[a-i]组成一组,[j-r]是第二组,其它所有字符([s-z]和下划线)组成第...博文来自:海岛Blog

  相比于上一篇知乎模拟登录,本篇的微博模拟登录则更为复杂一些。打开firefox的开发者模式,清楚相关网站的cookies,以防因为某些重要文件已经被缓存,而观察不到相应的HTTP交互。进行微博登录,观...博文来自:rosepicker的专栏

  本文原创,转发请注明出处:登录界面:手机端、电脑端1、博文来自:weixin_38168918的博客

  郑重提醒:本博客不允许转载我将首先分章节介绍一下新浪微博数据解析的原理,如果不想看,您可以移步最下面的代码部分。基本步骤为:新浪微博的模拟登录、爬取指定用户页面的网页源代码、原始页面解析和提取微博正文...博文来自:白辰甲

  我们在常用的浏览器上登录新浪微博时,并不需要输入账号和密码。这是因为浏览器自身储存了cookie,避免了再次登录重复输入密码的繁琐。而使用Selenium本来就要安装浏览器驱动。所以只要一个drive...博文来自:earth9的博客

  最近需要爬取微博的数据进行分析,对于新浪微博,官方提供了API,但是有几个比较致命的限制(调用次数限制和授权期限限制),所以我觉得有必要研究一下爬虫直接爬去微博的方式获取微博数据的可行性。由于模拟登陆...博文来自:u010029983的专栏

  转自:在登录之前我们需要先从新浪服务器获取两个变量:servertime,nonce。其中s...博文来自:Together_CZ的博客

  之前接触爬虫的时候,常常会看到模拟登陆这个词眼,然后也很想去尝试一下,但是又不知道要post的数据是什么?还有就是post的地址怎么来的?说实话,现在我也还不太清楚,只不过今天去模拟登录的时候居然成功...博文来自:小样的博客

  本文转自:前几天想在学校论坛上淘一个二手蓝牙鼠标,没有时间盯着论坛就写了Python程序模...博文来自:酒中仙的专栏

  rt 换句话解释就是 包含某个关键词的 所有微博内容 比如 抓取这个页面的所有微博正文 论坛

  最近工作上有一个需求,需要获取的数据,就是@我自己的数据,没有接口,只能通过抓页面.下面贴下部分代码...博文来自:monidenglu的专栏

  由于需要项目需要管理微博平台内容,集成登录微博管理平台功能,所以在抓取网页基础上探索了一下浏览器模拟登录,已经实现登录功能,采用JQuery和php结合的方式实现的,其中需要注意跨域访问问题,代码如下...博文来自:t0m的专栏

  学习python的最初原因就是写爬虫,最近一直在写爬虫。感觉写爬虫的时候主要问题就是四个:页面分析,网站登录,反反爬虫,多线程并发。四个问题难度依次递增。刚开始的时候觉得页面分析挺没有头绪的,但是写过...博文来自:Win_Man的专栏

  本博文主要介绍一下如何利用的python的requests包如何模拟登录移动版微博,好了废话不多说,下面主要介绍一下基本步骤: 运...博文来自:xiaopang123__的博客

  每一个程序员都有一个梦想,梦想着能够进入阿里、腾讯、字节跳动、百度等一线互联网公司,由于身边的环境等原因,不知道 BAT 等一线互联网公司使用哪些技术?或者该如何去学习这些技术?或者我该去哪些获取这些...博文

  目录 1、搜索引擎 2、PPT 3、图片操作 4、文件共享 5、应届生招聘 6、程序员面试题库 7、办公、开发软件 8、高清图片、视频素材网站 9、项目开源 10、在线工具宝典大全...博文

  在公司项目的开发过程中,需要编写shell脚本去处理一个业务,在编写过程中发现自身对shell脚本的知识不够完善,顾整理一下,本文章主要内容来自菜鸟教程 , 也添加了一些知识点 shell脚本? 在...博文

  欢迎添加华为云小助手微信(微信号:HWCloud002或HWCloud003),验证通过后,输入关键字“加群”,加入华为云线上技术讨论群;输入关键字“最新活动”,获取华为云最新特惠促销。华为云诸多技术...博文

  起因 又到深夜了,我按照以往在csdn和公众号写着数据结构!这占用了我大量的时间!我的超越妹妹严重缺乏陪伴而 怨气满满! 而女朋友时常埋怨,认为数据结构这么抽象难懂的东西没啥作用,常会问道...博文

  写在前边 数据结构与算法: 不知道你有没有这种困惑,虽然刷了很多算法题,当我去面试的时候,面试官让你手写一个算法,可能你对此算法很熟悉,知道实现思路,但是总是不知道该在什么地方写,而且很多边界条件想不...博文

  今天给大家带来点快乐,程序员才能看懂。 来源:公司实习生找 Bug 2.在调试时,将断点设...博文

  关于基础 项目打算招聘一个自动化运维,主要需求是python、Linux与shell脚本能力。但面试几天发现一些问题: 简历虚假 这个不管哪行,简历含水量大都是普遍存在的,看简历犀利的一比,一面...博文

  1)什么是链接? 链接是指两个设备之间的连接。它包括用于一个设备能够与另一个设备通信的电缆类型和协议。 2)OSI 参考模型的层次是什么? 有 7 个 OSI 层:物理层,数据链路层,网络层,传...博文

  我本科学校是渣渣二本,研究生学校是985,现在毕业五年,校招笔试、面试,社招面试参加了两年了,就我个人的经历来说下这个问题。 这篇文章很长,但绝对是精华,相信我,读完以后,你会知道学历不好的解决方案...

  Java 的每个基本类型都对应了一个包装类型,比如说 int 的包装类型为 Integer,double 的包装类型为 Double。基本类型和包装类型的区别主要有以下 4 点。...

  文章目录前言下载免费高清大图下载带水印的精选图代码与总结 前言 在上一篇写文章没高质量配图?python爬虫绕过限制一键搜索下载图虫创意图片!中,我们在未登录的情况下实现了图虫创意无水印高清小图的...

  作者:阿波、纯洁的微笑漫画:宁州枪手程序员如今已经发展成社会的主流职业,以至于街头的王大妈李大爷都能说出一二来,据说他们认为的程序员是这样子的:程序员都是秃头,秃的越狠越......

  作者 小鹿 来源 公众号:小鹿动画学编程 写在前边 TCP 三次握手过程对于面试是必考的一个,所以不但要掌握 TCP 整个握手的过程,其中有些小细节也更受到面试官的青睐。 对于这部分掌握...

  500行代码,教你用python写个微信飞机大战10-16阅读数 2万+

  三年一跳槽、拒绝“唯学历”,火速 Get 这份程序员求生指南!10-17阅读数 1万+