泽民博客 ☰ Menu

thrift_golang

Posted by 夏泽民 Sep 9, 2018

Thrift RPC 框架指南 认识Thrift框架 thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎，以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的、高效的服务。

阅读全文

thrift 遇到的坑

Posted by 夏泽民 Sep 9, 2018

1，not enough arguments in call to oprot.Flush have () want (context.Context) 原因idl 编译器与thrift lib 的版本不一致，生成idl用0.9.2 ，thrift go lib 版本是0.10.0 解决方案 ~/goLang/src/git.apache.org/thrift.git$git tag 0.10.0 0.11.0 0.2.0 0.3.0 0.4.0 0.5.0 0.6.0 0.6.1 0.7.0 0.8.0 0.9.0 0.9.1 0.9.2 0.9.3 hier git checkout 0.9.2 编译通过 2，编译完成，运行失败 ./client: line 1: syntax error near unexpected token newline' ./client: line 1: !' 原因：main函数（只能应用于package main） 解决方案：改main函数包名为main 3，接口实现不对 cannot use EchoServerImp literal (type *EchoServerImp) as type echo.Echo in argument to echo.NewEchoProcessor: *EchoServerImp does not implement echo.Echo (wrong type for Echo method) have Echo(context.Context, *echo.EchoReq) (*echo.EchoRes, error) want Echo(*echo.EchoReq) (*echo.EchoRes, error) 原因：实现接口的时候方法多了一个参数 4，client： Expected protocol id 82 but got 00 server： error processing request: Incorrect frame size (2183201028) 两边idl 不对应 5，cannot find package "golang.org/x/net/context" in any of: .../projects/go-projects/src/github.com/blevesearch/bleve/vendor/golang.org/x/net/context (vendor tree) 解决方案：cd src mkdir golang.org cd golang.org mkdir x cd x git clone git@github.com:golang/net.git --depth 1 6，non-standard import "github.com/mattn/go-sqlite3" in standard package "iislog" GO有两个路径需要定义，一个是GO自身的安装目录 GOROOT，这个目录只能放标准包，也就是”standart packages“。另一个是GOPATH，也就是工作目录，这里用来放第三方包，也就是“non-standard packages”。 http://mirrors.hust.edu.cn/apache/thrift/0.9.3/ 7，GOPATH=`pwd` /home/xiaoju/go/bin/go get github.com/golang/mock/gomock package golang.org/x/net/context: unrecognized import path "golang.org/x/net/context" (https fetch: Get https://golang.org/x/net/context?go-get=1: dial tcp 216.239.37.1:443: i/o timeout) $mkdir -p src/golang.org/x git clone https://github.com/golang/mock 8,关于gopath中的目录 golang_org golang.org google.golang.org 三个优先使用 golang.org 9.thrift 0.9.3 编译只能用 go version go1.10.4 linux/amd64 版本才能编译通过 10，编译go git clone https://github.com/golang/go cd go git tag git checkout go1.9 export GOROOT_BOOTSTRAP="/home/xiaoju/go1.8.1/" ./make.bash 8,# command-line-arguments src/github.com/xiazemin/thrift/gen-go/echo/framed/server/echo.go:34:29: cannot use thrift.NewTFramedTransport(thrift.NewTTransportFactory()) (type *thrift.TFramedTransport) as type thrift.TTransportFactory in argument to thrift.NewTSimpleServer4: *thrift.TFramedTransport does not implement thrift.TTransportFactory (missing GetTransport method) src/github.com/xiazemin/thrift/gen-go/echo/framed/server/echo.go:34:57: cannot use thrift.NewTTransportFactory() (type thrift.TTransportFactory) as type thrift.TTransport in argument to thrift.NewTFramedTransport: thrift.TTransportFactory does not implement thrift.TTransport (missing Close method) 解决方案：用 thrift.NewTFramedTransport(thrift.NewTFramedTransportFactory(thrift.NewTTransportFactory())), 替代 thrift.NewTFramedTransport(thrift.NewTTransportFactory()), 但是 出现： # command-line-arguments src/github.com/xiazemin/thrift/gen-go/echo/framed/server/echo.go:34:29: cannot use thrift.NewTFramedTransport(thrift.NewTFramedTransportFactory(thrift.NewTTransportFactory())) (type *thrift.TFramedTransport) as type thrift.TTransportFactory in argument to thrift.NewTSimpleServer4: *thrift.TFramedTransport does not implement thrift.TTransportFactory (missing GetTransport method) src/github.com/xiazemin/thrift/gen-go/echo/framed/server/echo.go:34:63: cannot use thrift.NewTFramedTransportFactory(thrift.NewTTransportFactory()) (type thrift.TTransportFactory) as type thrift.TTransport in argument to thrift.NewTFramedTransport: thrift.TTransportFactory does not implement thrift.TTransport (missing Close method) 应该是：thrift.NewTFramedTransportFactory(thrift.NewTTransportFactory()) 9，failed: EOF 原因传输协议不一样： protocolFactory := thrift.NewTCompactProtocolFactory() protocolFactory :=thrift.NewTBinaryProtocolFactoryDefault() 不能通信 10，Request error reading struct: error reading field 0: Not enought frame size 3 to read 8 bytes 原因： idl 定义不一致，改成一致才可以

阅读全文

spinlock 自旋锁

Posted by 夏泽民 Sep 8, 2018

自旋锁是专为防止多处理器并发而引入的一种锁，它在内核中大量应用于中断处理等部分（对于单处理器来说，防止中断处理中的并发可简单采用关闭中断的方式，即在标志寄存器中关闭/打开中断标志位，不需要自旋锁）。 何谓自旋锁？它是为实现保护共享资源而提出一种锁机制。其实，自旋锁与互斥锁比较类似，它们都是为了解决对某项资源的互斥使用。无论是互斥锁，还是自旋锁，在任何时刻，最多只能有一个保持者，也就说，在任何时刻最多只能有一个执行单元获得锁。但是两者在调度机制上略有不同。对于互斥锁，如果资源已经被占用，资源申请者只能进入睡眠状态。但是自旋锁不会引起调用者睡眠，如果自旋锁已经被别的执行单元保持，调用者就一直循环在那里看是否该自旋锁的保持者已经释放了锁，”自旋”一词就是因此而得名。 跟互斥锁一样，一个执行单元要想访问被自旋锁保护的共享资源，必须先得到锁，在访问完共享资源后，必须释放锁。如果在获取自旋锁时，没有任何执行单元保持该锁，那么将立即得到锁；如果在获取自旋锁时锁已经有保持者，那么获取锁操作将自旋在那里，直到该自旋锁的保持者释放了锁。由此我们可以看出，自旋锁是一种比较低级的保护数据结构或代码片段的原始方式，这种锁可能存在两个问题： 死锁。试图递归地获得自旋锁必然会引起死锁：递归程序的持有实例在第二个实例循环，以试图获得相同自旋锁时，不会释放此自旋锁。在递归程序中使用自旋锁应遵守下列策略：递归程序决不能在持有自旋锁时调用它自己，也决不能在递归调用时试图获得相同的自旋锁。此外如果一个进程已经将资源锁定，那么，即使其它申请这个资源的进程不停地疯狂“自旋”,也无法获得资源，从而进入死循环。 过多占用cpu资源。如果不加限制，由于申请者一直在循环等待，因此自旋锁在锁定的时候,如果不成功,不会睡眠,会持续的尝试,单cpu的时候自旋锁会让其它process动不了. 因此，一般自旋锁实现会有一个参数限定最多持续尝试次数. 超出后, 自旋锁放弃当前time slice. 等下一次机会。 由此可见，自旋锁比较适用于锁使用者保持锁时间比较短的情况。正是由于自旋锁使用者一般保持锁时间非常短，因此选择自旋而不是睡眠是非常必要的，自旋锁的效率远高于互斥锁。信号量和读写信号量适合于保持时间较长的情况，它们会导致调用者睡眠，因此只能在进程上下文使用，而自旋锁适合于保持时间非常短的情况，它可以在任何上下文使用。如果被保护的共享资源只在进程上下文访问，使用信号量保护该共享资源非常合适，如果对共享资源的访问时间非常短，自旋锁也可以。但是如果被保护的共享资源需要在中断上下文访问（包括底半部即中断处理句柄和顶半部即软中断），就必须使用自旋锁。自旋锁保持期间是抢占失效的，而信号量和读写信号量保持期间是可以被抢占的。自旋锁只有在内核可抢占或SMP（多处理器）的情况下才真正需要，在单CPU且不可抢占的内核下，自旋锁的所有操作都是空操作。 上面简要介绍了自旋锁的基本原理，以下将给出具体的例子，进一步阐释自旋锁在实际系统中的应用。上面我们已经讲过自旋锁只有在内核可抢占或SMP（多处理器）的情况下才真正需要，下面我们就以SMP为例，来说明为什么要使用自旋锁，以及自旋锁实现的基本算法。 实现编辑 在单处理机环境中可以使用特定的原子级汇编指令swap和test_and_set实现进程互斥，（Swap指令：交换两个内存单元的内容；test_and_set指令取出内存某一单元(位)的值，然后再给该单元(位)赋一个新值，关于为何这两条指令能实现互斥我们不在赘述，读者可以了解其算法） 这些指令涉及对同一存储单元的两次或两次以上操作，这些操作将在几个指令周期内完成，但由于中断只能发生在两条机器指令之间，而同一指令内的多个指令周期不可中断，从而保证swap指令或test_and_set指令的执行不会交叉进行. 但在多处理机环境中情况有所不同，例如test_and_set指令包括“取”、“送”两个指令周期，两个CPU执行test_and_set(lock)可能发生指令周期上的交叉，假如lock初始为0, CPU1和CPU2可能分别执行完前一个指令周期并通过检测(均为0)，然后分别执行后一个指令周期将lock设置为1，结果都取回0作为判断临界区空闲的依据，从而不能实现互斥. 如图4-3所示. 为在多CPU环境中利用test_and_set指令实现进程互斥，硬件需要提供进一步的支持，以保证test_and_set指令执行的原子性. 这种支持目前多以“锁总线”(bus locking)的形式提供的，由于test_and_set指令对内存的两次操作都需要经过总线，在执行test_and_set指令之前锁住总线，在执行test_and_set指令后开放总线，即可保证test_and_set指令执行的原子性，用法如下： 算法4-6：多处理机互斥算法（自旋锁算法） do{ b=1; while(b){ lock(bus); b = test_and_set(&lock); unlock(bus); } 临界区 lock = 0; 其余部分 }while(1) 总之，自旋锁是一种对多处理器相当有效的机制，而在单处理器非抢占式的系统中基本上没有作用。自旋锁在SMP系统中应用得相当普遍。在许多SMP系统中，允许多个处理机同时执行目态程序，而一次只允许一个处理机执行操作系统代码，利用一个自旋锁可以很容易实现这种控制．一次只允许一个CPU执行核心代码并发性不够高，若期望核心程序在多CPU之间的并行执行，将核心分为若干相对独立的部分，不同的CPU可以同时进入和执行核心中的不同部分，实现时可以为每个相对独立的区域设置一个自旋锁. 初衷编辑 事实上，自旋锁的初衷就是：在短期间内进行轻量级的锁定。一个被争用的自旋锁使得请求它的线程在等待锁重新可用的期间进行自旋(特别浪费处理器时间)，所以自旋锁不应该被持有时间过长。如果需要长时间锁定的话, 最好使用信号量。 1自旋锁实际上是忙等锁 当锁不可用时，CPU一直循环执行“测试并设置”该锁直到可用而取得该锁，CPU在等待自旋锁时不做任何有用的工作，仅仅是等待。因此，只有在占用锁的时间极短的情况下，使用自旋锁才是合理的。当临界区很大或有共享设备的时候，需要较长时间占用锁，使用自旋锁会降低系统的性能。 自旋锁可能导致系统死锁 引发这个问题最常见的情况是递归使用一个自旋锁，即如果一个已经拥有某个自旋锁的CPU 想第二次获得这个自旋锁，则该CPU 将死锁。此外，如果进程获得自旋锁之后再阻塞，也有可能导致死锁的发生。copy_from_user()、copy_to_user()和kmalloc()等函数都有可能引起阻塞，因此在自旋锁的占用期间不能调用这些函数。代码清单7.2 给出了自旋锁的使用实例，它被用于实现使得设备只能被最多一个进程打开。 基本形式编辑 自旋锁的基本形式如下： spin_lock(&mr_lock); //临界区 spin_unlock(&mr_lock); 因为自旋锁在同一时刻只能被最多一个内核任务持有，所以一个时刻只有一个线程允许存在于临界区中。这点很好地满足了对称多处理机器需要的锁定服务。在单处理器上，自旋锁仅仅当作一个设置内核抢占的开关。如果内核抢占也不存在，那么自旋锁会在编译时被完全剔除出内核。 简单的说，自旋锁在内核中主要用来防止多处理器中并发访问临界区，防止内核抢占造成的竞争。另外自旋锁不允许任务睡眠(持有自旋锁的任务睡眠会造成自死锁——因为睡眠有可能造成持有锁的内核任务被重新调度，而再次申请自己已持有的锁)，它能够在中断上下文中使用。 死锁：假设有一个或多个内核任务和一个或多个资源，每个内核都在等待其中的一个资源，但所有的资源都已经被占用了。这便会发生所有内核任务都在相互等待，但它们永远不会释放已经占有的资源，于是任何内核任务都无法获得所需要的资源，无法继续运行，这便意味着死锁发生了。自死琐是说自己占有了某个资源，然后自己又申请自己已占有的资源，显然不可能再获得该资源，因此就自缚手脚了。 自旋锁 Linux的的内核最常见的锁是自旋锁。自旋锁最多只能被一个可执行线程持有。如果一个执行线程试图获得一个被已经持有（争用）的自旋锁，那么该线程就会一直进行忙循环-旋转-等待锁重新可用要是锁未被争用，请求锁的执行线程就可以立即得到它，继续执行。

阅读全文

异步io

Posted by 夏泽民 Sep 5, 2018

linux下主要有两套异步IO，一套是由glibc实现的（以下称之为glibc版本）、一套是由linux内核实现，并由libaio来封装调用接口（以下称之为linux版本）。

阅读全文

thrift

Posted by 夏泽民 Sep 3, 2018

1，使用optional字段，不用判断是否设置。如果没有设置，内容为0(int)或者空(string)。

阅读全文

Search

Blog Categories

jekyll (35)
web (334)
technology (2)
php (201)
linux (415)
spark (51)
deep_learning (2)
storage (290)
golang (1081)
cryptology (15)
lang (74)
docker (100)
zookeeper (11)
elasticsearch (86)
java (7)
algorithm (134)
hadoop (2)
slug (1)
architect (46)
k8s (107)
node (82)
python (18)
mysql (42)
rust (4)
elasticSearch (1)
arch (1)
Javascript (1)
kafka (2)
nginx (7)

Popular posts

Anything in here will be replaced on browsers that support the canvas element

Recent posts

Tags

This blog is maintained by 夏泽民

Get in touch with me at 465474307@qq.com

Subscribe to our mailing list

* indicates required