科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网CIO与应用频道Hadoop用户将可以使用两种以上搜索引擎

Hadoop用户将可以使用两种以上搜索引擎

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

Hadoop数据处理平台的用户目前可以使用两个以上的搜索引擎来整理海量信息。Hadoop分销商MapR将LucidWorks Search整合到了他们自己的产品中。与此同时,Cloudera也为针对Hadoop设计的开源Impala SQL搜索引擎推出了首个完整版。

来源:网界网 2013年5月3日

关键字: Hadoop 大数据

  • 评论
  • 分享微博
  • 分享邮件

MapR目前开始使用LucidWorks Search搜索引擎,而与此同时Cloudera也推出了符合SQL规范的Impala搜索引擎。

Hadoop数据处理平台的用户目前可以使用两个以上的搜索引擎来整理海量信息。Hadoop分销商MapR将LucidWorks Search整合到了他们自己的产品中。与此同时,Cloudera也为针对Hadoop设计的开源Impala SQL搜索引擎推出了首个完整版。

MapR的CMO Jack Norris说:“将搜索引擎作为大数据的用户界面受到了广泛关注。搜索非常适合处理大量不同类型的信息,尤其是非结构化信息。我们看到一些令人关注的应用正在他们的核心中使用搜索引擎,即便是典型的用户也想不到他们自己会是搜索引擎的推动者。”

LucidWorks Search是开源Apache Lucene/Solr全文本搜索引擎的商业版本。通过MapR的整合,LucidWorks Search能够对HDFS(Hadoop File Systems)中的数据,或者是其他文件系统中的文件数据进行搜索。为了获得高可用性,LucidWorks Search提供了快照和镜像功能,减少了大量需要安装Lucene/Solr的工作。它们对许多数据源、图形用户界面和安全框架提供原生支持。

搜索引擎能够在动态Web应用中使用,以快速检索照片、广告、产品推荐信息,以及其他一些能够被快速填入Web站点的信息。Norris说:“对于数据仓库来说,它们并不是一种低成本的替代品。它们能够处理新的数据源,同时它们所做的一些工作将会对业务产生重大影响。”

MapR和LucidWorks自2011年起就在相互整合各自的技术,以便能够协同工作。这两家公司在2011年达成了一个联合营销协议。在2013年年初,他们推出了一个连接器,以便在MapR Hadoop发行版中能够更为容易地使用Lucene/Solr。

LucidWords Search能够与MapR最新的M7协同工作。除了支持LucidWorks Search外,M7版本还对架构进行了重新调整,以消除压缩或背景一致性检查,进一步提升平台性能。5月初,Cloudera也发布了针对Hadoop设计、并且符合SQL规范的开源查询引擎Cloudera Impala 1.0版本。SQL是关系型数据库管理系统(RDMS)中使用的数据库接口语言,目前已经被数据库管理员所熟悉。

Impala的设计目标是获得比Hadoop Hive更快的查询速度。由于该引擎并不使用MapReduce架构,所以不需要将搜索结果写入磁盘中,因此查询速度更快。相反,用户能够直接查询存储在HDFS和HBase中的数据。此外,用户既可以通过交互方式也能够通过批处理方式查询数据。

Cloudera最早于2012年10月份发布了一个Impala的测试版本。此后,该软件一直在接受37signals和Expedia等公司的测试。Impala是Cloudera Hadoop平台中Cloudera企业RTQ(实时查询)补充包的核心组件。目前用户可以免费下载Impala。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章