自动化处理：智能高效

自动化处理，也就是在大数据时代借助智能软件系统来取代传统的人工处理方式。根据国外预测数据，这种自动化处理技术将可带来5.2万亿至6.7万亿美元的经济效益。

这种自动化处理主要应用在知识型业务领域，比如咨询类、服务类等具有专业技术领域的客服系统。前一段时间IBM超级计算机“沃森”被应用在客服系统，就充分说明了借助高新技术来实现传统人工处理迈向自动化处理的转变。

“沃森”超级计算机

由于这种知识性内容可以通过计算机和CT技术来实现整合，并运用数据处理技术和智能系统，通过人机接口或者API开放给智能系统，由它们来对这些重复、繁杂、密集的请求进行处理，并高效、准确、及时地反馈结果。

高级石油勘探技术 殊途同归

高级石油勘探技术，将更多的采用HPC和传感器、模拟系统对地表下层的资源进行动态分析和扫描。去年笔者曾经采访过中国石化石油物探研究院副院长兼总工程师赵改善，他曾表示石油勘探主要面临的计算挑战有算法的进步和数据量的增加对更高计算性能的追求。也就是说，在石油天然气开采方面，将更多的采用高性能计算平台，并借助更大的数据存储系统对数据进行挖掘分析。

目前全球石油勘探机构普遍使用地震波勘探法来寻找石油，这种地震波可传入地下深处，并在碰到不同形态的地质构成时形成不同的反射波，这些反射波经地面的检波器收集，转变成电子信号后可存储为数据。通过对这些数据进行计算处理，人们就能清晰地摸拟还原出勘测区域的地下地质构造，并找到那些存有石油或天然气的岩层的精确位置。由于地震波法勘探收集的数据通常都以TB计，这些海量数据的处理只有借助高性能计算机才能在最短的时间内完成，以实现最佳的勘探效益。

英特尔Hadoop发行版

为此，目前有很多采用Hadoop的分布式数据处理平台来应对这种挑战。Hadoop采取横向扩展模式，将计算节点和存储节点合二为一，并且其计算能力和存储能力基本能达到一个线性的增长。

Hadoop算法能动态地感知计算所需要的数据存放在哪台机器上。它在分配计算任务时，会主动将计算任务分配到存放有相关数据的服务器上。而目前Hadoop在应对大数据挑战方面，成为了人们不二之选。