宁波数方公司研发成功全球最快大数据技术

中国宁波网讯（宁波日报记者周亚琼 通讯员方香）宁波数方信息技术有限公司成立一年多来研发攻关结出硕果。日前，该公司主要创办人之一顾博士告诉记者，数方公司自主研发成功名为Tiber City的大数据技术，不但是目前全球最快，而且是国内唯一不依赖开源软件，核心技术完全自主开发的大数据技术，并已成功应用于网络日志分析、基因数据处理等领域。

数方公司是一家落户宁波开发区科技创业园的留学生创业企业，成立于2013年，主要从事大数据和云计算系统的研发和服务。顾博士毕业于美国弗吉尼亚大学计算机科学专业，曾经供职微软、谷歌。今年11月1日在上海举办的“2014数据中国产业创新峰会”上，数方公司经多家专注于大数据领域的知名风投机构等联合评选,成为10家入选“首届中国大数据最具投资价值排行榜”企业之一。

目前，国际计算机领域数据处理应用时间最长、最广泛的技术为MapReduce/Hadoop，该技术也是第一代大数据技术的代表，能够处理PB（1PB=1024TB；1TB=1024GB）级以上的数据，但该技术在需要开展海量数据计算、统计、推介等处理时，却存在速度慢、适用范围窄的问题，制约了其在商业领域的更广泛应用。

“经过测试，数方公司的Tiber City在对GB—PB量级数据进行存储、搜索、挖掘、学习及商业智能处理时，性能比Hadoop要高10倍以上，比同为第二代大数据技术代表之一，加州大学伯克利分校研发的Spark要高1.6—5倍，且系统内部架构方面也独具优势，比如能够同时支持更多种程序语言，且与传统计算机程序交互更好。”顾博士表示。

该项技术目前已应用于多个领域。香港某科研机构存储海量基因数据并在此基础上开展相关数据分析，原本传统计算方式下需要30年左右才能处理完成的数据，应用该项技术后提速24倍，也就是说1年多就能计算完成，且软件部分还在进一步优化，有望处理时间再度大幅缩短。此外，数方公司基于Tiber City技术开发的命名为Greppy的大数据检索系统，相比传统的搜索工具，速度也实现了大幅提升，例如，在无索引的情况下搜索400GB的数据只需要7秒时间，而利用传统的搜索工具一般需要200到300秒才能完成，基本上秒级时间内能够搜索TB级数据。

顾博士告诉记者，目前，数方公司大数据技术最核心的软件部分已经基本实现了开源（向公众开放），公司在此基础上为客户提供技术咨询和服务，并致力于为客户“量身订制”企业版大数据软件。同时，该公司已经自主研发成功高性价比的大数据一体机硬件。