加州大学伯克利分校为何能连续孵化出 Mesos,Spark,Alluxio,Ray 等重量级开源项目?
并非Berkeley毕业， 但是Alluxio开源社区的PMC Chair，且念书时以及工作以后都和Berkeley AMPLab的老师和学生都有很多接触。试着从几个方面答一下。 这个不解释了。 看看Berkeley在系统方向以往的工作：80年代做Berkeley Sockets, RISC指令集，RAID（冗余磁盘整列），90年代做log-structure filesystem， postgres。2000年以后分布式系统兴起以后，围绕着互联网公司采集来的海量数据，如何做计算和存储又产生了新的问题和挑战。Google 看到了这些问题，做了很多，发了一些经典paper。而Berkeley也一样看到了这些趋势。插一句：关于未来的趋势，有兴趣的可以在线加入下礼拜2020年12月9日Ion Stoica教授的一个主题演讲: "The Future of Computing is Distributed"的keynote（在线会议，免费）Data Orchestration Summit 2020。听听一手孵化出来Spark, Alluxio和Ray的大牛教授怎么看未来的计算趋势。 2000年以后，美国很多系统方面的顶级学校都开始了paper大跃进。潜心build系统的研究组越来越少了（也可能是喜欢干这个的都被Google和Facebook收走了，毕竟拿着多几倍的薪水做同样的事情）。AMPLab能在这种氛围里不片面以论文发表作为指标，坚持做从0到1的系统构建是非常难得的。举个栗子。 Spark上的工作最初发表论文非常艰难， 投了几轮顶会都被拒, "not enough novelty"。但Matei等人能坚持做下去。这一期间Ion Stoica、Scott Shenker、Michael Franklin等AMPLab的老法师们也是到处给presentation宣传实验室学生在这块的进展。所以后来一旦社区影响上来了以后，NSDI不收也得收了，还给了best community award。 在硅谷靠近各大互联网巨头的优势也是毋庸置疑的。当时像Yahoo、Twitter等公司对这些开源项目也非常友好，给学生们Intern机会一起来共建开源项目和社区。Berkeley的这帮学生们也是非常会玩社区的主儿，能够非常及时友好的给这些社区用户碰到的问题帮助和指导，也知道怎么在正确的社区去做宣传。口碑就建立起来了。