python爬虫学习:爬虫QQ说说并生成词云图,又是一波神操作

时间:2019-09-12 来源: 国内新闻

Python已经学习了一段时间,自己创建了一个django网站,并使用请求+ BeautifulSoup来抓取一些简单的网站。在学习周末之后,我学会了抓住QQ空间并将内容放在txt中。阅读生成的云图。

我已经很久没有参加过qq了,太空谈判已经有好几年了。我上学的时候充满了回忆。当我看着它时,我微笑,微笑和笑.哈哈哈~~

没有图片无效

我仍然如此迷人和幽默.

言归正传,这次使用selenium模拟登录+ BeautifulSoup4抓取数据+ wordcloud生成的词云图

如果您喜欢,请注意收集和评论。 Python拥有大量的项目开发和新手教学视频PDF书籍,转发私人回复[Python]

BeautifulSoup安装

点子安装beautifulsoup4

这是beautifulsoup4

的官方文档

还需要使用解析器,我选择了html5lib解析器pip install html5lib

下表列出了主要解析器及其优缺点:

Selenium模拟登录

使用selenium模拟登录QQ空间并安装pip install selenium

我使用chrome浏览器webdriver.Chrome()来获取Chrome浏览器驱动程序。在这里,您还需要下载并安装相应浏览器的驱动程序。否则,在运行脚本时,错误将与窗口相同。下载相应的驱动程序。解压缩后,将下载的**。exe放入Python安装目录,例如D. \\ python。还需要将Python安装目录添加到系统环境变量中。 Qq登录页面使用webdriver打开qq space的登录页面

打开后,右键单击检查页面元素,找到帐户密码登录login_frame,首先找到框架,driver.switch_to.frame('login_frame'),然后自动点击帐户密码登录按钮,自动进入帐户密码登录,并打开谈话页面,详细代码如下

此时,您可以看到已打开qq已打开的页面。请注意,打开某个空格后,将出现一个提示框。您需要模拟单击事件以关闭提示框。

同时,由于内容是动态加载的,因此您需要自动下拉滚动条,加载所有内容,然后模拟单击下一页以加载内容。具体代码如下所示。

BeautifulSoup爬行和谈话

F12查看内容,你可以在feed_wrap中找到这个,在tag数组里面,class='bd'中每篇文章的具体内容

在标签上。

此时,QQ说它已经被抓取并保存在QQ-Word文件中。

下一步生成单词云映射

使用word cloud包生成wordcloud map,pip安装wordcloud

我也可以用介霸分词,我没有用它,因为我觉得QQ说的句子有点感觉,个人喜好,用介霸分词可以看到一些高频词。

设置wordcloud的一些属性,注意这里应该设置font_path属性,否则中文字符会乱码。

0×2525×2526

——

新闻排行
  1. 九种保护牙齿的食物1、干果干果中的脂肪有利于帮助牙齿形成保护膜,从而抑制细菌的侵入,另外,天然的植物?

    九种保护牙齿的食物1、干果干果中的脂肪有利于帮助牙齿形成保护膜,从而抑制细菌的侵入,另外,天然的植物?...

  2.   智能手机那点事2019.7.18我要分享说到OPPO,很多网友都表示高价和低配。这是因为OPPO在过去几年推出的?

      智能手机那点事2019.7.18我要分享说到OPPO,很多网友都表示高价和低配。这是因为OPPO在过去几年推出的?...

  3. 你的孩子不是你的孩子;他们是生命对自己的渴望所生的孩子;他们用你来到这个世界,但不是因为你;他们在你身?

    你的孩子不是你的孩子;他们是生命对自己的渴望所生的孩子;他们用你来到这个世界,但不是因为你;他们在你身?...

  4. 移动中国联盟我想昨天分享设置微网新闻(文/叶),今天,有微博数字博主爆料:“有一个周末体验智慧屏幕的朋友发送了偷拍的荣耀.这是第一次曝光界面?“从它拍摄的照片来看,它显示了怀疑荣耀智慧屏幕的功能系统

    移动中国联盟我想昨天分享设置微网新闻(文/叶),今天,有微博数字博主爆料:“有一个周末体验智慧屏幕的朋友发送了偷拍的荣耀.这是第一次曝光界面?“从它拍摄的照片来看,它显示了怀疑荣耀智慧屏幕的功能系统...

  5. ?伤心!我们的战友,前辈,英雄齐汝廷同志2019年8月2日上午10点武汉市人民医院安静死亡95岁01谁是Qirunting?齐润婷(右一)和黄继光的母亲(左一)说到超级英雄黄继光和世界着名的上甘岭之战

    ?伤心!我们的战友,前辈,英雄齐汝廷同志2019年8月2日上午10点武汉市人民医院安静死亡95岁01谁是Qirunting?齐润婷(右一)和黄继光的母亲(左一)说到超级英雄黄继光和世界着名的上甘岭之战...

  6. 专家可以报告,不应局限于过去!近20家农村信用社即将关闭!小朋友们注意了!大规模招募农村信用社宣布强势抗议!高薪是正式的,门槛低,应该在过去报道!一些农村信用社即将关闭!不要犹豫!花点时间报名!单击

    专家可以报告,不应局限于过去!近20家农村信用社即将关闭!小朋友们注意了!大规模招募农村信用社宣布强势抗议!高薪是正式的,门槛低,应该在过去报道!一些农村信用社即将关闭!不要犹豫!花点时间报名!单击...

  7. ?快速技术马斯克无聊的“无聊”隧道公司自诞生以来就受到了很多关注和质疑。值得关注的是,这是“硅谷钢铁侠”的最新玩意,有朝一日可能改变世界,而问题是镗孔的隧道高速。该计划难以实施,似乎不现实。然而,在美

    ?快速技术马斯克无聊的“无聊”隧道公司自诞生以来就受到了很多关注和质疑。值得关注的是,这是“硅谷钢铁侠”的最新玩意,有朝一日可能改变世界,而问题是镗孔的隧道高速。该计划难以实施,似乎不现实。然而,在美...

  8. 通过公益运动建立品牌的知名度和声誉并不是新鲜事。然而,公司很少花费大量资金并开发新技巧来连续六年推广

    通过公益运动建立品牌的知名度和声誉并不是新鲜事。然而,公司很少花费大量资金并开发新技巧来连续六年推广...

  9. 长寿的“狼”,每天按一下按钮,舒静活跃着艾米的女性正在追求一个美丽而性感的“腰窝”,而那些专注于保健

    长寿的“狼”,每天按一下按钮,舒静活跃着艾米的女性正在追求一个美丽而性感的“腰窝”,而那些专注于保健...

  10. 祖光禄十几岁时就去世了。他家境贫寒,天性最孝顺。他经常自己做饭给他妈妈吃。王平北听了他的好名声,就给

    祖光禄十几岁时就去世了。他家境贫寒,天性最孝顺。他经常自己做饭给他妈妈吃。王平北听了他的好名声,就给...

友情链接