分布式LDA, Latent Dirichlet Allocation for Hadoop

这几天偷闲，写了一个基于hadoop分布式计算环境和MapReduce的LDA训练程序，测试基本通过，不过有些地方效率还不好，得仔细调调。

不写不知道，自己写一下，对LDA的体会就多了一些。比如说Dirichlet先验这个事情，反映到训练过程上，就是给隐含主题和词的同现计数加上一个简单的Laplacian平滑(Laplacian平滑就是把所有值都加上一个比较小的数字然后再重新归一化)。而Gibbs Sampling有一个问题，就是每次采样都需要更新全局信息，基本没有机会做真正意义上的并行化，只能做一个Gibbs Sampling的近似。

利用MapReduce进行并行化也有一点问题，MapReduce本身的开销比较大，如果数据量不大到一定的程度，利用MapReduce是不是真得能提高速度还是个未知数。我想再写一个非MapReduce但是支持超过内存大小的Documents的版本，没准在多数情况下都比MapReduce的快。

必须声明的是，思考这个事情的过程中得到了LDA并行化大牛益哥的指导，我只是大实验一般实践一下。非MapReduce版本的LDA如果好用，可能会开源一下，等出来再说吧，哈哈。