泽民博客 ☰ Menu

block chain 区块链

Posted by 夏泽民 Mar 18, 2018

参考： http://zhibimo.com/read/wang-miao/mastering-bitcoin/Chapter05.html https://www.zhihu.com/question/37290469 比特币——〉区块链是比特币的底层技术。或者比特币——〉比特币是一种区块链。具体到什么是区块链的问题，目前没有看到很好的定义和介绍，更多的是大而化之地讲区块链的意义在哪里的空泛文章，要不然就是一水的矿工和挖矿。所以我来从纯理论角度说一下我个人对区块链的定义：1，区块链是一个放在非安全环境中的分布式数据库（系统）。2，区块链采用密码学的方法来保证已有数据不可能被篡改。3，区块链采用共识算法来对于新增数据达成共识。具有以上三个性质的系统，就是区块链。1，区块链是一个放在非安全环境中的分布式数据库（系统）。这里的要点有两个：（1）分布式，（2）非安全环境。首先，这是一个分布式的，去中心化的系统。所以，有一个中心服务器或者节点的，不是区块链。节点都是安全的，无恶意的，那这不是区块链。同理，从应用的角度讲，如果你的应用必须要使用中心节点（例如要用超级计算机做深度学习）或者没必要考虑节点不安全的情况（例如某个安全的工厂里的传感器），那么并不需要考虑区块链技术。至于后面的词“数据库”，目前大部分成熟的区块链都是数据库，例如比特币就是一个分布式账本，而账本其实就是数据。然后，根据数据的格式，又可以分三种——1，数据是完全不相关的，只是达成的共识，没有有效无效之分；2，数据有某些逻辑结构，例如账本中，一笔交易实际上除了金额，还有输入和输出，连接到之前的交易，这些数据需要通过逻辑验证（例如交易中，节点需要验证输入的交易是否有效）；3，数据拥有图灵完备的逻辑，而验证的时候需要通过节点使用算力运算，每笔交易可以有不同的输出和状态，每个节点要做的不仅仅是验证交易的真实性和输入的正确性，还要根据交易里的逻辑读入数值，进行验算然后再验证结果。比特币的系统就是第二种，又叫分布式账本；以太坊是第三种。第三种可以支持智能合约。用比特币举例的话，1，它是一个完全去中心化的系统，2，它放在一个非安全的环境，它并不要求所有使用比特币的人都没有恶意。2，区块链采用密码学的方法来保证已有数据不可能被篡改。这个是误解最多的部分，因为很多人一提到区块链就只觉得是这个。诚然，这部分很重要，而且确实区块链也因此得名，但这只是区块链的定义的一部分。这个部分的两个核心要点是：（1）密码学哈希函数，（2）非对称加密。两个都是密码学的基础概念，网上都有非常清晰的定义，我只简单说下：（密码学）哈希函数：一个函数Y=H(X)，有如下性质：1，有X可以很容易算出Y；2，有Y不可能算出X；3，有Y不可能找到另一个X’使得H(X’)=Y；3.5，如果X和X’相差很小，H(X)和H(X’)则完全不相关。这东西主要用于验证信息完整性——在一个信息后面放上这个信息的哈希值，这个值很小，例如256bit，而且计算方便。收到信息之后收信人再算一遍哈希值，对比两者就知道这条信息是否被篡改过了。如果被篡改过，哪怕只有一bit，整个哈希值也会截然不同。而根据哈希函数的性质，没有人能够伪造出另一个消息具有同样的哈希值，也就是说篡改过的数据完全不可能通过哈希校验。非对称加密：这东西很好理解——对称加密就是有个密钥，可以理解成保险箱钥匙，你把消息加密变成密文，没有人能看懂这是啥，然后同一把钥匙解密成原来的消息。非对称加密就是有两把钥匙，一把叫公钥，一把叫私钥，用其中一把加密的话，只能用另一把解密，反之亦然。另一个重要的性质是，给你密文，明文和其中一把钥匙，你还是解不出来另一把钥匙是啥。原理基本上是基于一些困难数学问题，例如因数分解和离散对数，常用的有RSA，Diffie-Hellman和ECC（椭圆曲线），比特币用的是椭圆曲线。非对称加密除了和对称加密一样用于信息加密之外，还有另一个用途，就是身份验证。因为通常情况我们假设一对公私钥，公钥是公开的，而私钥只有本人有，于是一个人如果有对应的私钥，我们就可以认定他是本人。其中一个重要的应用就是数字签名——某个消息后面，发信人对这个消息做哈希运算，然后用私钥加密。接着收信人首先对消息进行哈希运算，接着用相应的公钥解密数字签名，再对比两个哈希值，如果相同，就代表这个消息是本人发出的而且没有被篡改过。以上是基础知识，至于区块链怎么实现的，很简单：交易（数据）写在区块里。第一个区块叫创世区块，写啥都行。从第二个区块开始，每个区块的第一部分有前一区块的哈希值。此外，区块里的每一笔交易（数据），都有发起人的数字签名来保证真实性和合法性。于是，先前区块里的任何数据都不可被篡改，原因见上。到这为止有人可能会问：为什么要弄个链啊？直接所有数据加个哈希值不就行了？因为——这个数据库并不是静止的啊。数据库的数据是会增加的，而每次增加的数据，就是一个区块，于是这些生成时间不同的区块，就以这种形式链在一起了。至于如何增加区块，就涉及到第三个部分——共识算法。3，区块链采用共识算法来对于新增数据达成共识。共识算法的目的，就是让所有节点对于新增区块达成共识，也就是说，所有人都要认可新增的区块。对于有中心的系统，这事很简单，中心说什么大家同意就好了，但是放到去中心化系统里，尤其是当有些节点有恶意的时候，这东西非常复杂，计算机科学里有个相应的问题，叫做“拜占庭将军问题”或者“拜占庭容错”（BFT）。有很多用Lamport给出的那个例子来讲BFT的东西，我在这里换一个角度。Lamport大神当年提出这个问题的时候在斯坦福研究中心给NASA做项目，他提出这个问题的原因并不是考虑类似比特币的应用场景（整个互联网成千上万个用户），而是考虑特殊背景下的一个简单的系统——航天飞机的控制系统。如果有航空背景的同学可能知道，飞机有三套独立的控制系统，为什么呢？因为任何系统都不可能完全不出故障，就算飞机控制系统的故障率已经极低了，还是有飞到一半这东西坏了的可能。于是我们可以弄两套独立的系统，同时坏掉的几率就会大大降低。可是两套独立的系统还是不足以容下一个系统的错误——一架飞机迎面飞来，两套系统一个说要躲，一个说不躲，那到底是躲还是不躲呢？所以我们需要三台独立的系统，这样，如果有一个系统有故障了，还有两台能正常工作，能少数服从多数给出正确的结果。学过纠错码的同学对这个应该不陌生，这个系统的输出之间的汉明间距是3，所以可以纠正一位的错误。然而，对于航天飞机，在冷战的背景下，万一某个系统不是坏掉了，而是被敌人控制了呢？三套系统还够吗？答案是否定的，因为不同于单纯只是坏掉的节点，恶意节点可以做一些别的事来阻止整个系统达成共识。这个部分略复杂要讲的话要单开一帖，所以我们只说最简单的情况（无签名同步系统）。我们管三个系统叫ABC，正常工作流程是三个人每次得出结果就互相告诉一下，然后每个人选多数人同意的结果。这是个没有中央节点的分布式系统，也就是说三人不能聚在一起开个会啥的，仨人只能两两通信。这个时候，假设C有恶意，它的目标是破坏这个系统。于是，假设正确的读数是1，A和B都得出了1这个结果，这个时候C这个小婊砸告诉A说“我的结果是0，B也觉得是0”，同时打个电话跟B说“哎我觉得是0，A也这么说”，于是A和B就懵逼了。假设你是A，你听到了两个不同版本的B的答案，B说自己选了1，C说B选了0，可是A这个时候没法知道B和C谁才是那个骗了自己的小婊砸，因为如果B真的告诉A选了1然后告诉C是0，他听到的结果和现在是一模一样的。于是结论是，拜占庭容错，也就是需要容下一个恶意系统而非错误系统，需要4个独立系统。（当然，签名可以解决这个问题，但是这只是同步系统的情况，在异步系统里这问题会变得更加复杂，原因是正常节点的回答有延迟，而恶意节点可以不回复，所以，正常节点一方面要等另一个节点的回复，但是它又不知道对方会不会回复因为对方有可能会有恶意，而在收到回复之前，它完全没法判断对方是正常节点还是恶意节点，这个问题叫异步BFT，也是BFT的最复杂的情况，这里不再做更多的解释，下文提到的BFT算法，其实都是异步BFT的算法）Lamport提出这个问题之后，有无数的算法被提出来，统称BFT（拜占庭容错）算法，其中最有代表性的叫PBFT，然后由于最近区块链的热度，无数针对区块链应用场景优化过的BFT算法也涌现出来，但是一个重要的问题是，所有目前的BFT算法，都只能应用在小型网络里。原因很简单——因为BFT这个问题是设计给类似于航天飞机控制系统这样的场景的，早期的算法考虑的也主要是这种场景。PBFT论文里考虑的就是一个5个节点的系统。就算算上新提出的BFT算法，也最多应用在不超过100个节点的网络里。这个问题被搁置了很久，直到比特币的诞生——中本聪从某种意义上简化了这个问题，在比特币中，同样是共识问题，中本聪引入了一个重要的假设——奖励，他之所以能这样做的原因是，他考虑的是一个数字货币，也就是说共识这个东西是有价值的。于是在这样的系统上，他提出了工作证明机制。所有挖矿，矿工，最长链，分叉等等等等，都可以归结为一句话：说话是要有代价的，说真话是有好处的，说假话是要扣钱的……这就是目前两类共识算法的核心区别：BFT共识模型：恶意节点可以干任何事。比特币共识模型：模型中有公认的“价值”，每个节点说话都需要一定代价，诚实节点会受到奖励，而恶意节点由于只付出代价而收不到奖励，变相受到了惩罚。也就是说，BFT共识模型其实涵盖了比特币共识模型的场景，比特币共识其实放宽了BFT共识模型的限制。比特币共识对于BFT的优势在于，由于给恶意节点的能力做了限制，恶意节点所能造成的破坏大大降低了，尤其是对于异步系统——BFT共识里恶意节点可以一直拒绝相应而诚实节点还需要一直等它（因为不知道它是不是恶意的），而对于比特币共识，随你便，你不响应就没有奖励可拿。于是，比特币共识算法可以应用于成千上万个节点，而且，任何人随时都可以加入，不需要预先在网络里注册自己的身份（而BFT算法里，网络中节点的数量和身份都必须是已知的）。但比特币共识的缺陷在于，首先，得有个有价值的东西，也就是说放在比特币里这东西还行，以太坊的话现在可能也凑合，但是其他数字货币嘛……BFT共识有个严格的限定，就是恶意节点不能超过总数的1/3，然而其实比特币共识没有这样的限制，唯一的限制就是假定大部分节点都是理性的，是逐利的，也就是会采用最佳的策略来赚取最大的价值。所以，严格来说，自私挖矿这种行为在比特币共识里是允许的，而多数攻击，其实也算不上一种攻击，因为这些都没有突破比特币共识的框架——如果这个价值无限大，比特币共识是非常可靠的。然而这并不是事实，因为并不是每个虚拟货币都和比特币一样值钱，而在价值不高的情况下，比特币共识的前提就站不住脚了——当损失可能是几千上万块钱的时候，假定每个人都是理性的是合理，但是如果损失就几分钱这个假设就相当扯淡了，事实上也发生过一个比特币矿池跑到另一个货币恶意挖矿搞垮对手的情况。此外，比特币共识是最长链共识，也就是说最长链–>大多数–>理性，于是分叉是允许的。于是导致了一些附带的问题，例如，如果网络有延迟，你怎么知道你手里那条链是整个网络里当前的最长链呢？于是，如果需要传输的数据多，那么延迟加大。延迟加大，那么越多的人手里的链并不是全网络的最长链。于是，全网络的最长链，就没法代表大多数。这就打破了比特币共识的根本，这也是为什么比特币区块频率是10分钟一块的原因。比特币目前有个著名的7币交易每秒的上限，而现在扩容闹得很厉害，以太坊的交易格式不同，也用了新的工作证明，想要改成权益证明，但这些都不本质。真正本质的是，在目前的网络条件下，如果适用全网的话，比特币共识的交易量基本上超不过100笔交易每秒这个量级。上面这几段有可能太深了，简单来说，BFT共识和比特币共识的区别可以这么理解：BFT共识：来，大家开个会讨论一下集思广益啊，讨论出大家都满意的结果为止。问题：开会的效率大家都懂，人越多越不容易出结果。只能用于少数节点，用于上千个节点的话……大家想象一下一天开一次人大的场景。比特币共识：你的诗念得不错，组织已经决定了，今天就你来当领导了，做得好有奖，做不好扣钱。问题：奖励几千块钱还好，奖励几分钱谁好好干？而区块链也就因此被分成了泾渭分明的两类，很多人都听过什么公有链私有链联盟链，但是，如果你们以为这是根据应用区分的就大错特错，其实，这两种区块链最本质的区别，还是因为共识模型或者说算法不同——BFT算法没法应用于大量节点，所以用BFT算法的就没法做公有链。而比特币共识得有个价值体系，这东西去做私有链联盟链就很不靠谱，因为一个单纯逐利的人的假设还算靠谱，但是如果对象是公司的话，公司的利益就太复杂了，不能简单认为他们只追逐区块链上那点价值。1，公有链，以比特币，以太坊和所有虚拟货币为代表，都采用比特币共识，共识算法基本上都采用工作证明机制，也就是挖矿那些，这种机制其他回答里已经讲得够清楚了，就略过。工作证明一切都好，除了费电……费多少电呢？比特币的话，差不多和一个百万人级别的城市那么多。此外以太坊的创始人特别喜欢权益证明，似乎很快要小范围投入使用（100个区块里一个用权益证明）。但是目前为止，大家对这东西的可靠性还持观望态度。2，私有链和联盟链。以IBM的hyperledger-fabric，以及一大堆其他的类似于tendermint，甚至R3 corda和ripple为代表，都用BFT共识。其实这方面的应用已经很多了，问题是，1，目前基本上所有应用给人的感觉都还是为了做区块链而区块链，真的觉得这东西好到不可或缺的应用还基本没有。2，由于为了区块链而区块链，其实很多场景的安全性和可靠性还值得怀疑，这点经常被被公有链的支持者诟病。

阅读全文

unsafe cgo

Posted by 夏泽民 Mar 17, 2018

unsafe包是一个采用特殊方式实现的包。虽然它可以和普通包一样的导入和使用，但它实际上是由编译器实现的。unsafe包被广泛地用于比较低级的包, 例如runtime、os、syscall还有net包等，因为它们需要和操作系统密切配合，但是对于普通的程序一般是不需要使用unsafe包的。

阅读全文

数字签名及应用

Posted by 夏泽民 Mar 17, 2018

签名的作用有两点，一是因为自己的签名难以否认，从而可以确认文件已经签署的事实，即保证文件的不可否认性；二是因为签名不易仿冒，从而可以确定文件是真的这一事实，即保证文件的真实性。网络安全防范中的数字签名(Digital Signature)与书面文件签名有相同之处，它也能确认两点：其一，信息是由签名者发送的；其二，信息自签发后到收到为止未曾作过任何修改。这样，数字签名就可以用来防止网上电子信息因容易修改而被人破坏或作伪，或冒用别人名义发送信息，或者，在发出或收到信件后又加以否认等情况发生。

阅读全文

reflect

Posted by 夏泽民 Mar 17, 2018
阅读全文

go package

Posted by 夏泽民 Mar 17, 2018
阅读全文

Search

Blog Categories

jekyll (35)
web (334)
technology (2)
php (201)
linux (415)
spark (51)
deep_learning (2)
storage (290)
golang (1081)
cryptology (15)
lang (74)
docker (100)
zookeeper (11)
elasticsearch (86)
java (7)
algorithm (134)
hadoop (2)
slug (1)
architect (46)
k8s (107)
node (82)
python (18)
mysql (42)
rust (4)
elasticSearch (1)
arch (1)
Javascript (1)
kafka (2)
nginx (7)

Popular posts

Anything in here will be replaced on browsers that support the canvas element

Recent posts

Tags

This blog is maintained by 夏泽民

Get in touch with me at 465474307@qq.com

Subscribe to our mailing list

* indicates required