深入理解HBase Indexer

HBase Indexer，全名为Lily Hbase Indexer，是NGDATA公司为了将lily子系统里面相关HBase数据存储到Solr而开发的一个软件。它的主要作用是将HBase表里面的某些列（或者所有列）数据近乎实时地索引到SolrCloud里面。为什么说近乎实时？这是因为HBase Indexer是依赖于HBase的replication功能来实现将数据索引到Solr里面的。由于这个过程是异步进行的，并且重放HBase WAL日志本身就存在一定的延迟，所以HBase Indexer是近乎实时地将数据索引到Solr里面。
HBase Indexer的地位类似于HBase高可用方案里面的Slave集群，事实上HBase Indexer上每一个indexer（底层核心是SepConsumer类）都是一个伪装的、弱化了的RegionServer，负责接收SepEvent，并处理自己感兴趣的那部分数据，然后将数据存储到Solr集群上。
那么为什么选择Replication而不选择Coprocessor来实现HBase Indexer？原因有以下几点：

1. HBase Replication的处理是由RegionServer开启独立的线程去处理的，处理方式是并行且异步的，依靠这种机制来实现HBase Indexer并不会给HBase带来入侵式的代码，而且不会影响写入性能。
2. Coprocessor是一种基于Java的插件机制，它可以提供类似数据库存储过程的功能。然而，Coprocessor需要在客户端进行配置，并且需要与HBase一起编译和部署，这会增加系统的复杂性和维护成本。相比之下，HBase Indexer通过使用HBase Replication来实现数据同步，不需要在客户端进行额外的配置，降低了系统的复杂性和维护成本。
3. HBase Replication可以提供跨多个RegionServer的负载均衡机制，使得HBase Indexer可以更好地利用系统资源，提高数据处理效率。而Coprocessor则不具备这种负载均衡机制。
   总的来说，HBase Indexer通过使用HBase Replication来实现数据同步，具有近乎实时的索引能力，并且在保证数据一致性的同时，降低了系统的复杂性和维护成本。此外，HBase Indexer还可以通过配置多个indexer来提高系统的可扩展性和容错性。在实际应用中，需要根据具体场景和需求来选择使用HBase Indexer或Coprocessor等其他技术来实现数据同步和索引功能。