生活也是大事业

1、这是一个业余练手的习作，很多细节可能把握得不好，欢迎各位提建议。

2、这是一个业余练手的习作，R语言是一个很厉害的统计分析的语言和环境，虽然它也经常被用来做数据挖掘，但是做法并不是像我这样子的。

如果确实有抓取数据的需求，似乎应该尽量考虑采用其他的技术。

3、可视化是技术和艺术的结合，惭愧是我这两方面都不擅长。所以具体怎么画个漂亮的图，要向大家学习。微博上这种图现在很多啦。

4、貌似新浪已经到V1.3.19了，所以我这个登录过程有可能又快不行了。。。

5、之所以打包成函数主要是看起来会整齐一点，事实上这些函数都不够稳健，主要会受到网络状况的影响。如果需要抓取的数据量很大，还是应该想办法把函数写得稳健一点。我的做法是一步一步慢慢做，遇到问题也不至于前功尽弃。

例子是 @求是设计会 的一条微博 http://weibo.com/1782871497/eAsjygS9YSg

代码写得比较长，直接丢在这里。欢迎大家提供更好的解决方案。就是这样。打完收工。

# 首先还是微博登录的函数：

f_weibo_login

之前一直没有解决web微博的数据抓取问题，所以绕道走wap。但是这两天wap又要开始输验证码了。验证码对我来说实在是太难绕开的关口，于是索性又花了点时间了解前端的那堆脚本，终于能够比较顺利地提取新浪微博的微博数据了，然后又顺手尝试了一下简单的分词和词云，于是我来写个日记。主要是三个函数：登录微博，抓取数据，生成词云。

# 首先还是微博登录的函数。

f_weibo_login <- function(name="********@******", pwd="****"){

memory.limit(4000)

library(RCurl)

library(digest)

# 对ID的预处理

name <- gsub('@', '%40', name)

name <- base64(name)[1]

# 常规的打包，具体没仔细研究

myH <- c("Host"="login.sina.com.cn",

"User-Agent"="Mozilla/5.0 (Windows NT 5.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",

"Accept"="text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",

"Accept-Language"="zh-cn,zh;q=0.5",

好惭愧，几夜过去，weibo.cn又可以不用验证码了。。。2012-01-20

好惭愧，一夜之间，登录weibo.cn需要验证码了，而且电脑上显示的验证码还有问题，我勒个去。weibo.com倒是通过修改设置取消了验证码。所以有空我去学习一下所谓的前端技术吧。2012-01-17

之前还在上海工作的时候，业余写过R脚本来抓取新浪微博数据并分析关注关系，后来这些分析被套用到人人网上，而对新浪微博的探索就没有继续进行。主要的原因其实在于新浪微博的版本升级太快了，前端代码不断变化，登录方式也越来越复杂，所以就没花心思去学习这些东西。最近是 @邓一硕 问我能不能抓取微博数据来做分析，我没找着现成的工具，于是就浅尝辄止地学习了一下。

首先尝试了直接登录新浪微博以获取数据，当前的版本是1.3.18，具体是这个样子：

## 输入账号密码

name="*************";pwd="******"

memory.limit(4000)

library(RCurl)

library(digest)

## 账号的预处理

name=gsub('@','%40',name)

name=base64(name)[1]

myH=c(

"Host"="login.sina.com.cn",

"User-Agent"="Mozilla/5.0 (Windows NT 5.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",

之前 @刘思喆 同学用R实现了马赛克拼图，很帅又很简洁。于是我也尝试了一下，不过遇到两个问题：ReadImages包不会用，以及没有图片资源。昨天心血来潮跟晓梅讲了上次shanghaiR关于可视化的一些介绍，发现EBImage这个包挺好用的，于是晚上就试着做了一下。图片资源来自新浪微博的粉丝头像。之前貌似有个微博应用是做这个的，但是做得有点不够到位（貌似主要的瓶颈在于粉丝数量不够而微博头像的尺寸又比较大）。

首先是读取粉丝头像数据。悲催的是我刚才一不小心点了新版微博试用，结果之前的很多url都不能直接用了。现在查看粉丝列表的url是“http://weibo.com/1643729062/fans?&tag=&page=1”，这个页面上天然地有50*50的头像，为数据读取带来很大的便利。

拿到全部粉丝的头像之后，都改成Grayscale的模式。这里直接抄了贝吉塔的shell("convert -type Grayscale *.png thumbnail%03d.png")。

然后准备了自己的一个比较简单的证件照，修成30*40的大小，同样处理成Grayscale的模式。就是这样：

接着就是一些数据处理的脚本：

library(EBImage)

啧啧啧，这么快就又到季度末了，要准备季度考核，真是不习惯呐。先来博客上小结一下。

最近在忙的项目叫做“墨菲斯”(Morpheus)，就是黑客帝国里面那个很酷的壮汉。这是我起的名字，据说这是希腊神话里面的梦神。Morpheus has the ability to take any human form and appear in dreams。翻译成中文的话，这大概是一个解梦计划。之前看到其他部门的项目都有很帅的名字，像什么“大运河”“大航海”“云梯”什么的，而我们分析部门的项目一般都叫做“叉叉叉叉叉叉叉模型”或者“叉叉叉叉叉叉叉分析”，特别难记并且没有气势，所以我决定我们这次的项目也要有一个响亮好记一点的名字。墨菲斯还有一句著名的台词：Neo, sooner or later you're going to realize, just as I did, that there's a difference between knowing the path and walking the path. 从这一点上看，我觉得这个项目的名字确实起到了一定的激励作用。

业余的话，基本没做什么事情。回杭州之后，工作平台就完全转移到SAS上，而SAS这个庞然大物似乎并不擅长做那些业余而有趣的玩意儿。所以我仍然是延续之前的工作，用R做了社会网络分析的一些尝试。之所以选择SNA这个领域，当然与现如今的网络环境有关，但更重要的是它能够用一些简单直观的逻辑计算出看起来还蛮有趣的结论。唯一的困难还是在于，我仍然不知道这些分析能够产生什么实用价值。去上海参加Shanghai

注：本文稍微具体一点的分析过程，已经发在统计之都了，在这里在这里在这里

跟我预期的结果差不多，例如初中同学、高中同学、大学同学、98网友，等等等等。

这个区隔比新浪微博的要清晰多了。

而且，目前来看，校内网获取数据会比较容易，这次仍然是用RCurl跑的数，参考上一篇对微博的操作。

以下是画图结果，后面顺手摘了我觉得比较清楚的几个子群。当然啦子群越小会显得越清楚。

顺便看看哪些人是沟通桥梁，就是那几个比较大的点。

其中有三个同学可以直观地解释：既是高中同学，又来到同一所大学。

有了这些数据我还可以来给自己做一下推荐。模仿校内网自己的推荐逻辑，来给自己做一下推荐吧。

TOP100。不过怀疑有些是重名，例如王超刘佳王佳这些。

打完收工。最近都会比较忙，工作压力很大，估计就更没时间玩这些业余的玩意啦~~~

注：以上仍然只是个体网的分析。不知道啥时候能够看到整体网。

长三角三日游归来，累死我也么哥。作为休息与调整，我来整理一下最近在微博分析方面做的一些尝试。

新浪微博如火如荼，基于微博的各种应用也层出不穷。有一种共识似乎是：微博数据蕴含着丰富的信息，加以适当的挖掘，能够实现众多商业应用。恰好社会网络分析也是我之前有所了解并持续学习的一个领域，因此我做了微博数据分析方面的一些尝试。这些尝试是比较初步的，属于探索性的阶段，当然不能跟微博分析家这样比较成熟的应用相提并论。并且我的分析基本上都出于想当然的直觉感受，没有具体的理论支撑，这方面需要试着找点书籍来阅读一下，貌似有蛮多可以参考的。

一、用R登录并发布微博

之所以仍然选择用R来做这个登录和发布的工作，是考虑到分析过程的连续性，毕竟能够在同一个平台下面完成所有的工作，还是很令人身心愉悦的。这里借助了一款命令行浏览器cURL，这个浏览器在R中可以用RCurl实现，简单的介绍建议参考medo的《R不务正业之RCurl》。由于我对HTTP这些东西都属于初级未入门水平，没能实现直接的登录，只好利用了cookie实现间接登录。但是最终结果还是蛮稳定的。编写这个登录和发布微博的函数，目的之一是为后续的数据采集做准备，但同时也能够实现同步更新不同平台信息的功能，例如写一条语句就能够把人人状态、新浪微博、飞信签名等等同步更新，还是很有趣的。只是人人状态和

由于专业的关系，我学习信用评分的时候往往最关注模型那一块，前段时间一直有很多困惑，这周认真地看了一篇文章，终于有一点点明白了，所以来简单地小结一下（这事儿不能说得太细），小结完了我得学习cURL去了。

最常见的用于信用评分的模型就是logistic回归，这是一种处理二分类因变量的广义线性模型。这种模型的理论基础比较扎实，但是对于不同的问题当然也存在一些特殊的处理方式，我最大的困惑就在于建模时对分类自变量的处理方法。

由于制作评分卡的某些需要，通常会在建立评分模型时将自变量做离散化处理（等宽切割，等高切割，或者利用决策树来切割），但是模型本身没办法很好地直接接受分类自变量的输入，因此需要对自变量进行再次的处理。比较常规的做法有两种：做dummy变量，做基于目标的变量编码。

dummy变量是比较顺其自然的操作，例如某个自变量m有3种取值分别为m1,m2,m3，那么可以构造两个dummy变量M1,M2：当m取m1时，M1取1而M2取0；当m取m2时，M1取0而M2取1；当m取m3时，M1取0且M2取0。这样，M1和M2的取值就确定了m的取值。之所以不构造M3变量，是基于信息冗余和多重共线性之类的考虑。但是，构造dummy变量也存在一些缺点，例如无法对自变量的每一个取值计算其信用得分，并且回归模型筛选变量时可能出现某个自变量被部分地舍弃的情况。

另一种处理分类变量的方法是基于目标对其进行编码，在信用评分中比较常见的就是用WOE编码。WOE叫做证据权重(Weight of Evidence)，表示的其实是自变量取某个值的时候对违约比例的一种影响。