大数据时代业已到来,当今世界正处在一个数据爆炸的时代。伴随着多媒体、云计算、物联网、社交网络等技术的发展,以及天文观测、空间地理、金融分析等各领域每天都在产生巨量的数据,这些数据如此庞大,其规模、其涌现速度和其处理难点超出目前常规技术能管理、处理和分析的能力。一般来说,大数据具有量大(Volume)、流动性大(Velocity),种类多(Variety),分布式(distributed)、非一致(nonuniformity)等特性,这些特点决定了在大数据时代,我们传统的数据处理技术必须有革命性的变化,包括数据的存储与组织方式、计算方法、数据分析,而对大数据的智能分析技术将尤为重要。 　　大数据的潜在价值是真实而巨大的,为了充分挖掘大数据的价值,必须解决一系列技术问题,这些问题包括数据采集、信息抽取和清理、数据集成、数据分析以及解释和部署[1].这些问题涉及数据获取、数据存储和管理、数据分析、数据可视化、应用服务、信息共享、数据安全和隐私保护、大规模并行计算、流计算、云计算等多层面的信息技术,需要计算机软、硬件的综合解决方案. 　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。 　　NLPIR大数据语义智能分析平台主要有采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。 　　数据挖掘技术本身就是当前数据技术发展的新领域，文本挖掘则发展历史更短。传统的信息检索技术对于海量数据的处理并不尽如人意，文本挖掘便日益重要起来，可见文本挖掘技术是从信息抽取以及相关技术领域中慢慢演化而成的。