街旁网和大数据下的大智慧

　　在说“大数据”之前，让我们先看几张图——

　　NASA从太空中拍摄的城市夜间亮度图（亚洲部分）

　　我们能从图中看出世界范围内的夜间活动规律，反映出地区间经济发展的不平衡。

　　放大到中国地区，最亮的部分在是北上广深等城市区域。

　　隐藏在这些图片背后的是NASA的VIIRS灯光数据，这些数据能帮助我们研究世界范围内的经济、政治活动。

　　NASA拍摄的轨道交通网络图

　　通过对比同一城市不同年代的交通路线图，能得出该城市的轨道交通发展情况。

　　……

　　这些图都是根据大量的数据绘制而成。

　　摩拜单车数据图

　　左图是摩拜单车的户画像和骑行数据图。

　　中间是骑行轨迹图，摩拜单车其实是物联网设备，它背后是庞大的物联网，每时每刻都在向后台传输大量的数据，摩拜单车可以用这些数据绘制完善的骑行轨迹空间网状图。

　　最右是用户需求图，是根据用户打开摩拜单车APP的数据绘制的，圆圈越大说明这个区域打开APP的人越多，需求也越大。

　　共享单车大战打开的不仅仅是共享经济的热度，“共享”背后是庞大的的数据积累，某种程度上是大数据的争夺战。

　　大数据带来的冲击

　　“大数据”不仅仅是数据，还是一种思想，一个技术，还有很多基于大数据创新的应用，所以，大数据是一种思维模式，是我们思考整个社会的手段之一。

　　大数据对教育带来了很大的冲击。教育的体系有三层，最底层是基础设施，中间层是模型算法，顶层是基础设施和模型算法所支撑的领域应用。未来的大数据人才培养需求一定很大。

　　大数据还是一个技术体系。大数据的相关技术至今没有完全成熟，大数据对整个信息技术体系的重构也带来了巨大的冲击。

　　大数据还是时代的呼唤，已达到国家战略的高度。大数据也是很多企业必争之地，亚马逊、谷歌、阿里巴巴等企业都在宣称自己是大数据企业，大数据是企业的经济命脉。

　　大数据作为继云计算、物联网之后IT行业又一颠覆性的技术，它好比是21世纪的石油和金矿，是一个国家提升综合竞争力的又一关键资源。

　　掌握数据和会用数据的人，才会在一切都要被分析的数据化时代生存和发展。毕竟。无论你在哪个行业，将来都可能被颠覆。

　　大数据时代

　　先看一个关于“大”的问题：

　　2^64-1这个数字是什么概念?整个世界的沙粒也没有这么多。

　　如何理解大数据的“大”

　　大数据的“大”是抽象的大，大数据时代下的思维方式和方法论都和以往不同。

　　大数据的全景图

　　半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到一个引发变革的程度，它不仅使世界充斥着比以往更多的信息，增长速度也在加快。

　　互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器、智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂地产生数据。

　　大数据背后的驱动力

　　摩尔定律

　　信息革命

　　指数增长

　　数据爆炸

　　奇点临近：技术会逼近人类历史上的某种本质的奇点，在那之后全部人类行为都不能以我们熟悉的面貌继续存在。

　　数字地球

　　2006年，个人用户才刚刚迈进TB时代，全球一共新产生了180EB的数据;

　　2011年，这个数字达到了1.8ZB。

　　有市场研究机构预测，到2020年，整个世界的数据总量将会达到35.2ZB(1ZB=10亿TB，1EB=2^70TB)。

　　说了这么久的大数据，大数据的定义是什么呢，维基百科是这样定义的：数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息。

　　大数据特点的实例——城市计算

　　规模大（volume）：街旁网有1亿次签到数据

　　速度快（velocity）：上海出租车每分钟产生500万条定位数据

　　类型多（variety）：POI、路网、轨迹、路况、评论

　　价值（value）：特殊事件(赛事、事故)、用户评论(污染、堵塞)

　　我们应该关注“大”还是关注“数据”？

　　关注大数据的本质特征

　　关注实际的问题需求

　　关注大数据的思维

　　关注大数据的实践

　　大数据的洞见是从问题出发，找到解决问题需要的数据，再通过构建模型、算法，应用到实践中，最终解决问题。

　　大数据总体技术框架

　　大数据感知与采集：通过物联网、互联网、网络爬虫等技术获取大数据

　　大数据存储：通过封闭式的存储环境存储数据

　　大数据管理：是分析与运用数据的基础

　　大数据计算：只有跑大量的数据，才能挖掘有价值的信息

　　大数据分析：数据挖掘与机器学习等手段

　　大数据可视化：在得到有效信息后，如何传递给其他人?可以通过图表、可视化技术达到此目的

　　大数据服务与应用：下图是2017年的大数据技术站，有非常多的公司在不同城市、从不同角度，从事大数据的研发工作

　　*本文根据量见·云大学APP同济大学计算机系副教授，博士生导师王伟讲授的《数据科学与大数据》整理而成，部分内容有删减