Thursday, May 22, 2014

网络天然是大数据的,大数据天然是网络的

The network is naturally bigdataing, while bigdata is inherently networking.
--yeasy@blog
用英文表达似乎更加准确一些。

计算机科学发展了半个世纪,而网络的出现极大推动了计算机相关技术的爆发式进步。
计算机或网络领域所研究的典型问题,往往都是追求高性能、精确、准确,而大数据技术则往往提供一些统筹、模糊的结论。
一方面,网络中产生了海量的数据,无法被传统技术处理而白白浪费;反过来,要实现大数据处理的平台,毫无疑问要依靠分布式的网络系统,而且大数据分析的内在本质就是要发现和利用数据中的内在联系。

那么,两者是否有合作的可能?能在一些恰当的场景下进行融合?
我的回答是,肯定能。而且网络和大数据的融合将带来大量的合作机会和新的技术领域,这将是下一个十年信息技术领域的热门方向!

初步设想,一些首先或可能已经正在进行的问题包括:
1、网络安全,典型如对未知安全行为的探测,允许有误差,但是要求能探测出来无法用规则描述的复杂行为。
2、流量工程,各种网络流量数据(特别移动互联网)灌进来,能否分析出一些情况,比如预测异常,比如可以预测电力、交通?这将比利用社交平台的分析提供更多可能性。
3、反过来,发明新的网络机制,能符合大数据爆发式、流输入和实效性等特点。

OpenStack中网络模块(Neutron)的代码分析

目前已经完成了整体框架、基本概念和部分plugin的代码分析,最新是0.4版本,可以从https://github.com/yeasy/tech_writing/blob/master/OpenStack/OpenStack%20Neutron%E4%BB%A3%E7%A0%81%E5%88%86%E6%9E%90.pdf下载。