爬取简书和数据分析

作者：sexycoder

最近入门了一下scrapy，找了一个网站练手，半天的时间爬取了简书20w用户数据和40w的follow关系。这些存在mysql里面的闲着也是闲着，想做一些有意思的数据统计和社交关系分析。

最受欢迎的作者

我统计了简书上面粉丝数最多和被喜欢次数最多的用户，简书上最受欢迎的作者，如下图所示：

我把最受欢迎的作者的放到一张图上面，横坐标表示粉丝数，纵坐标表示被喜欢的次数，如下图所示。可以很明显的看出来，这些最受欢迎的作者里面，大多数的作者还是聚集在图的左下角，but，还有几个超级受欢迎的，他们分别分布在图的右侧和上侧。他们分别是，刘淼，彭小六，简黛玉。很可惜，截图上不能附上作者的名字。

这是同济最受欢迎的作者的原始数据，我也贴在这里，如下图所示，数据爬取的时间是 2017年10月20日左右。下图的这四列分别是，uid，昵称，粉丝数，被喜欢数。

最能写的作者

统计了发表文章数最多的top20作者，如下图所示：

排名第一的这位孤鸟差鱼 （ http://www.jianshu.com/u/a4bb86f4ba07），写了1799篇文章啊！我的天！但是这里有一个bug，这位作者虽然能写，但是每篇文章被喜欢的次数很低，基本上是个位数。可能是一位孤独but高产的作者。

平均每个字被喜欢次数坐高的作者

从上面的一个统计里面吸取到的一个灵感，虽然上面的作者很能写，但是被喜欢的次数却很低，这一次统计的是平均每个字被喜欢次数坐高的作者。如下图所示：

这个结果就更加意外了，排在前面的这几个大哥，就写了一个字，but 收获了48个喜欢！！！！每个字被喜欢的比例是1：48！！！于是，很好奇这位大哥，这一个字写得是什么，跑去围观。。

用户的粉丝数分布的比例

分析了一下每个用户的粉丝数，绝大多数用户的粉丝数只有10人以下，而粉丝数分布在[10,20]之间的用户明显少了很多，简直是锐减！！！这也基本上符合一个社交网络的结果，绝大多数的人都是围观者，都是内容或者是消息的的接收者。拥有大量粉丝的人，往往很少，这一部分的人是这个社交网络的核心，是信息或者是消息的创造者，拥有更加强大的话语权。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。