王益的空间 Wang Yi's MSN Space

之前说过现代并行计算技术是云计算概念的基础。而最近的几则消息提醒我们，现代并行计算技术已经在从使用大量CPU进行超级计算，转向使用大量GPU的过程中了。

最近发布的全球Top500 Supercomputer排名里，绝大多数计算机仍然使用CPU和Linux，但是其中位居第五的、由国防科技大学（我的母校 :-) ）开发的天河一号，是一台使用大量ATI RadeonTM RV770 GPU的“特色巨人”。

在最近一篇题为 How Will We Keep Supercomputing Super?（超级计算机如何继续保持“超级”？）的博客中，作者分析了这样一条逻辑思路：由于Moore定律的限制，组合更多的CPU以获得更强的计算能力会带来更大的性能开销，同时导致更大的能源消耗；为此一个直接的思路是使用比CPU结构更加简单的元素作为构建超级计算机的基础。GPU就是这样一个选择。

在计算机技术之前几十年的发展过程中，很多重要的技术思路被融合进现代CPU以提高单颗处理器的计算性能，同时保持其经济性。这些技术包括变长指令字，超常指令字，流水线，多流水线，专用浮点计算部件，SIMD等。在提高性能的同时，它们也使得CPU变得越来越复杂。这是为什么最新的CPU中也只能包含几个core而已。而GPU（准确的说是今年来发展起来的可编程GPU，General Programmable GPU）的设计从一开始就走的是使用大量简单的core进行并行计算的思路。最新的GPU包括数十上百个core，可以同时执行数万线程。

目前GPU产业的龙头是ATI和Nvidia两加。而最近NVidia在Amazon的云计算平台上推出了基于GPU的云计算技术——RealityServer。通过在现有的云计算机群中，增加Nvidia的GPU，软件开发者们就可以用NVidia提供的CUDA开发包，开发并行计算程序了。

很惭愧的，在清华呆了很多年，从没学过清华校歌。今天在百度音乐上搜出来了，从头听到尾，愣是没听出什么旋律来。声调平和温婉，让我目瞪口呆。不能上网的朋友们可以去庙里听听僧人早课念经，只是比唱经更平和一些，还加入了管风琴的和弦。令我顿悟了书中对先秦时代的祭祀歌曲——雅和颂——的描述。记得当年孔老夫子跑到哪个国家听到了颂，于是自称感到余音绕梁，三日不绝？并且听得很爽，对肉味都失去知觉了。我听的时候正在吃早饭，也被校歌的古典特征震撼了。

注意到清华校歌是因为一位师弟的签名档是“春风化雨乐未央，行健不息需自强”——这么传统并且淳淳教导的话不想是这位师弟自己写的，于是我Google搜了一下，赫然发现其出处是校歌的歌词。伟大的Google告诉我，校歌全文由国文和哲学教授汪鸾翔先生与1923所作，一共三段，用文言文写成。仔细一看，歌词是引经据典，而且引的都是先秦时代的经典，比如《礼记·礼运》、《易传·乾象》、《礼记·中庸》、《管子·形势解》、《庄子·则阳》、秦相李斯《谏逐客书》、《荀子·劝学》、《左传·襄公二十四年》——让我深深的折服了——1923年那会儿的人果然是有国学修养啊！

但是，伟大的Google的搜索功能是穷尽无涯的——它让我注意到这么一段话：
我比彻底折服更彻底地折服了——原来1923年那会儿的同学们（老学长们）也是听不明白看不懂这校歌的。

http://infolab.stanford.edu/pub/voy/museum/pictures/display/0-4-Google.htm

最近惊闻吕正操将军仙逝，想起妈妈曾告诉我，外公离休前住进干休所，还是吕正操将军亲自安排的。

我的外公是解放前西南联大土木系的高材生。毕业后在国统区的柳州铁路局任工程师。解放后继续当工程师。抗美援朝期间，为了能将物资顺利运抵前线，中央军委决定成立铁道兵团。希望召集工程师们参加。为了说服知识分子上前线，铁道兵团的领导们许诺，加入铁道兵团的工程师们，将来可以享受离休待遇。相对于“退休”，“离休”的待遇更高。只有1949年10月1日前参加革命工作的人才能享受。

抗美援草结束后，铁道兵团扩建成了一个兵种，成为铁道兵。在极其艰苦的条件下，铁道兵承担了新中国所有的铁路线路的建设任务。包括极其艰苦的青藏铁路一期工程、南疆铁路、成昆铁路、湘渝铁路，和抗美援越铁路建设等重要任务。【我的大舅舅就牺牲在湘渝铁路的工地上。】在这样的大环境下，我的外公从36岁参军，一直到70岁高龄在铁10师总工程师、副参谋长位置上离休前，一直工作在工地上。在此期间，外婆从柳州铁路局调任铁道部第二工程局（铁二局）医院工作。住在一套很简陋的一室一厅的房子里。因为房间很小，妈妈和舅舅参加工作之后，都选择轮流回家（一起回家的话住不下）。为此，在离休之前，外公给吕正操将军写信说明了情况，吕将军当即批示“要坚持对老知识分子的承诺”，并安排外婆住进了铁西指（铁道兵西南指挥部）的宿舍。后来又安排外公一家住进成都马家花园干休所。

不过，作为铁道兵最后一任司令员，吕正操将军也被指责是“断送”了铁道兵的人。据说吕正操和邓小平打桥牌的时候说，到把铁道兵撤了吧。当时邓小平正在考虑大裁军，以节省军费，因此将铁道兵建制改编成中铁建总公司。【最近完成北京地铁6号线的中铁建14局就是当年的铁4师；负责鸟巢和水立方的北京城建就是当年的铁13师】结果裁撤一年后，邓小平发现并没有节约出军费。这才注意到原来铁道兵是解放军诸兵种中唯一不领军费的，而是根据建设项目向中央军委申请建设拨款的；更总要的是，铁道兵是一支创造价值的部队。大家看看现在中铁建多赚钱呀！

舅妈的父亲是个老红军。脾气耿直，喜欢抽烟。现在年纪大了，家里人一见到老爷子都会劝他戒烟。老爷子会很烦。

只有舅舅不劝老爷子戒烟。一见面，很轻松的说：“诶。。。怎么样？听说您戒烟啦？”老爷子一奇怪，再想想，就笑了，顺手把烟掐了。

生活的幽默源自于自信沉着的修养和举重若轻的心态。

今天浏览 WWW 2009 的论文集时，发现了一篇论文，Towards Context-Aware Search by Learning a Very Large Variable Length Hidden Markov Model from Search Logs，引用了我读博士期间提出的 Variable Length Hidden Markov Model（VLHMM）。通过改进算法，这篇论文的作者们可以学习更大规模的 VLHMM，并将其用于 Web search。

转眼之间，离我推导出 VLHMM 已经过去三年多了。遗憾的是在我博士毕业之前，一直没能将这项工作完整的发表于一个顶级会议或期刊。这次看到有人对 VLHMM 感兴趣，并继续研究之，很高兴。