GitHub - wrp142536/stackoverflow-spider: 📖 爬取 Stackoverflow 100万 条问答并简单分析
打开 stackoverflow 主页,在 questions 页面下选择按 vote 排序,爬取前 20000 页,每页将问题数量设置为 50,共 1m 条,(实际上本来是想爬完 13m 条的,但 1m 条后面问题基本上都只有 1 个或 0 个回答,那就选取前 1m 就好吧)
总的来说,这三者对应关系类似于一个金字塔。三个图基本上都是左下角靠近原点的区域被填满,也就是说绝对大部分的问题的 votes,answers 和 views 都是属于最下层的。高质量活跃的问题是处于金字塔顶端的。三者的最高数好像也没特别明显的对应关系,且三者的最高数都不是同一个问题。
('c#', 94614), ('java', 93244), ('javascript', 76722), ('android', 69321), ('python', 62502), ('c++', 58173), ('php', 42596), ('ios', 37773), ('jquery', 37405), ('.net', 36180), ('html', 28536), ('css', 26174), ('c', 24699), ('objective-c', 23253), ('iphone', 22171), ('ruby-on-rails', 20143), ('sql', 19171), ('asp.net', 18060), ('mysql', 17559), ('ruby', 16397), ('r', 15670), ('git', 13139), ('linux', 13080), ('asp.net-mvc', 12857), ('angularjs', 12606), ('sql-server', 12473), ('node.js', 12212), ('django', 11576), ('arrays', 11006), ('algorithm', 10959), ('wpf', 10631), ('performance', 10619), ('xcode', 10613), ('string', 10426), ('windows', 10132), ('eclipse', 10117), ('scala', 9942), ('regex', 9685), ('multithreading', 9601), ('json', 9266), ('swift', 8950), ('c++11', 8939), ('haskell', 8823), ('osx', 8159), ('visual-studio', 8140), ('html5', 7627), ('database', 7567), ('xml', 7478), ('spring', 7464), ('unit-testing', 7253), ('bash', 6825)