如何做一个区块链浏览器

对于区块链,所有的数据都是开放的,但不是每个人都能写代码去查看链上的交易,大多数人会通过一个公开的窗口来查看数据。这个公开的窗口就是区块链浏览器。

区块链上的数据会持续增加,对于数据的持久化和查询是浏览器的关键。本文会说明一种区块链浏览器的设计思路。

1. 系统设计

当一笔交易上链之后,就会存储到链上的账本中,但是账本中的数据无法直接展示。所以需要对这些账本数据进行解析,并存储,然后再从不同的维度去做对数据进行展示。系统本身并不会很复杂,整体的设计如下:

整个系统做的事情就是将区块链上的数据拉取下来,放到数据库中,然后通过一个 API 服务

在系统中有两个部分很重要,一个是区块的解析器,一个是拉取区块的部分。

1.1 存储选型

数据存储的选型很重要,使用 MySQL 存储会带来一些问题,字段扩展困难,存储扩展不方便。除了存储之外,这些数据还需要能够支持多维度的搜索,这点 MySQL 显然也无法满足。

区块链通常使用 kv 数据库做存储,通常是 LevelDB、CauchDB、TiKV 等等,但是这类的数据库,对于搜索的支持比较差。而对于浏览器来说,搜索则是一个最重要的部分。

在这样的情况下, ElasticSearch 是一个很好的选择,ES 支持本身支持大量数据的存储,而且可以支持水平扩展。实时的搜索也能够满足前端数据展示的需要。

1.2 解析器的设计

区块链就是一个链状的结构,所有的区块通过计算前一个区块的 hash 连接在一起:

每一个区块中则会打包一系列的交易:

在解析区块的时候,需要不断的将区块层层打开,直到将里面的每一笔交易都解析出来。然后按照不同的分类存储进 ES 中。看起来是一个挺复杂的过程,可以通过设计成单个接口来完成。

1.3 安全的考虑

因为浏览器是一个开放的系统,所有人都可以来访问,那么对于系统的安全就需要特别重视,避免有人对系统进行攻击。在这里需要防护的类型有两种:

  • DDOS 攻击
  • 怕有人通过爬虫来爬取系统中的数据

在网关层,可以部署一些防火墙,在 API 层,可以使用了 IP 的限制策略,比如限制同一个 IP 在一段时间内的最大访问次数。最大程度上保持浏览器的稳定运行。

2. 遇到的问题

完成上面的设计并实现之后,其实已经可以使用了。但发现在实际的使用过程中,还是会出现一些问题。

2.1 如何处理存量数据

在拉取区块链的数据时,区块中可能已经存在了很多数据,如果使用单线程去拉取数据,可能会需要很长的时间。既然单个线程拉取区块的速度不够快,那就换成多个线程,于是换成了如下的模式:

这样一来,拉取的速度就快了很多,但是如果链上的数据很多,这种方式还是不太够,

但到这里,其实就没办法再通过增加线程来加快拉取的速度。因为在解析区块的时候,是通过新起一个线程去解析,如果区块拉取的太快,会导致解析的线程数量急剧增加,最后导致程序崩溃。

所以要通过其他的方式来提升拉取速度。

既然单个实例无法继续提升性能,那就通过多个实例来提升,但是这样会引入新的问题,就是怎么在多个实例之间去同步状态。

分析一下就可以发现,很多的中间数据在区块爬取的过程中器是无需统计,比如每分钟产生的区块数和每分钟产生的交易数。其实只需要在多个实例之间去同步区块的高度,让不同的区块去拉取不同的高度。

这里为了减少系统的额外依赖,最后决定使用 MySQL 的悲观锁来同步区块高度,为了减少加锁的频率,降低获取锁的次吃。在同步高度的时候,会一次性去取一批高度,比如获取了 10 个高度,直接把 MySQL 中的高度更新 10。

因为每个实例中本身就有多个线程在拉取数据,避免每个线程在拉取的时候都来获取一个高度。就通过在实例中线程的数量来获取区块高度,比如线程的数量是 10,那就直接在 MySQL 中抢占 10 个高度,然后同时去拉取。

这样处理之后,拉取区块速度就大大提升了。拉取线上 5 千万的存量数据大概只需要 5 天左右的时间,这样是完全可以接受的。

存量数据拉取完成之后,就可以恢复到单实例,多线程的拉取模式,这样更能节省资源。

2.2 区块处理失败

在拉取区块的过程中,有可能会有各种原因导致区块拉取失败。这个时候需要对处理失败的区块重新处理。

在这里的设计中,通过一种比较简单的方式进行处理,把处理的失败的区块放到一个失败中,然后会有一个线程去监听这个失败队列,从其中获取高度重新处理。

3. 读写分离

但是到目前为止,这个浏览器还称不上完美。现在区块的解析和拉取区块是绑定在一起的,es 写入的错误也会导致整个的区块拉取失败。不得不通过重试的方式来完成拉取。这样会影响整体的拉取速度。

随着区块链的业务越来越多,产生区块的速度也越来越快。当前的的这种拉取的方式有可能无法跟上区块的拉取速度。所以需要引入消息队列来让区块和区块的解析两部分功能彻底解耦,就像下面这样。

这样将区块的拉取和解析互相不阻塞,系统也会更加稳定。

文 / Rayjun

© 2020 Rayjun    PowerBy Hexo    京ICP备16051220号-1