淘宝在hbase中的应用和优化( 二 )


【淘宝在hbase中的应用和优化】最后要特别提一下历史交易订单项目 。这个项目实际上也是一个重构项目,目的是从以前的solr+bdb的方案上迁移到hbase上来 。由于它关系到己买到页面,用户使用频率非常高,重要程度接近核心应用,对数据丢失以及服务中断是零容忍 。它对做了优化,避免大数据量的在服务时间内发生 。新增了定制的来实现分页查询,上对应用进行了巧妙的设计以避免了冗余数据的传输以及90%以上的读转化成了顺序读 。目前该集群存储了超过百亿的订单数据以及数千亿的索引数据,线上故障率为0 。
随着业务的发展,目前我们定制的hbase集群己经应用到了线上超过二十个应用,数百台服务器上 。包括淘宝首页的商品实时推荐、广泛用于卖家的实时量子统计等应用,并且还有继续增多以及向核心应用靠近的趋势 。