泽民博客 ☰ Menu

uninterruptible D 状态

Posted by 夏泽民 Sep 23, 2018

D状态即无法中断的休眠进程，是由于在等待IO，比如磁盘IO，网络IO，其他外设IO，如果进程正在等待的IO在较长的时间内都没有响应，那么就被ps看到了，同时也就意味着很有可能有IO出了问题，可能是外设本身出了故障，也可能是比如挂载的远程文件系统已经不可访问等操作时出现的问题。

阅读全文

LSF、BPF、eBPF

Posted by 夏泽民 Sep 23, 2018

概览LSF(Linuxsocketfilter)起源于BPF(BerkeleyPacketFilter),基础从架构一致,但使用更简单。LSF内部的BPF最早是cBPF(classic),后来x86平台首先切换到eBPF(extended),但由于很多上层应用程序仍然使用cBPF(tcpdump、iptables),并且eBPF还没有支持很多平台,所以内核提供了从cBPF向eBPF转换的逻辑,并且eBPF在设计的时候也是沿用了很多cBPF的指令编码。但是在指令集合寄存器,还有 概览 LSF(Linux socket filter)起源于BPF(Berkeley Packet Filter),基础从架构一致,但使用更简单。LSF内部的BPF最早是cBPF(classic),后来x86平台首先切换到eBPF(extended),但由于很多上层应用程序仍然使用cBPF(tcpdump、iptables),并且eBPF还没有支持很多平台,所以内核提供了从cBPF向eBPF转换的逻辑,并且eBPF在设计的时候也是沿用了很多cBPF的指令编码。但是在指令集合寄存器,还有架构设计上有很大不同(例如eBPF已经可以调用C函数,并且可以跳转到另外的eBPF程序)。 但是新的eBPF一出来就被玩坏了,人们很快发现了它在内核trace方面的意义,它可以保证绝对安全的获取内核执行信息。是内核调试和开发者的不二选择,所以针对这个方面,例如kprobe、ktap、perf eBPF等优秀的工作逐渐产生。反而包过滤部门关注的人不够多。tc(traffic controll)是使用eBPF的一角优秀的用户端程序,它允许不用重新编译模块就可以动态添加删除新的流量控制算法。netfilter的xtable模块,配合xt_bpf模块,就可以实现将eBPF程序添加到hook点,来实现过滤。当然,内核中提供了从cBPF到eBPF编译的函数,所以,任何情况下想要使用cBPF都可以,内核会自动检测和编译。

阅读全文

UNIX Domain Socket

Posted by 夏泽民 Sep 21, 2018

UNIX Domain Socket, 简称UDS, UDS的优势:

阅读全文

ptrace

Posted by 夏泽民 Sep 21, 2018

引子: 1.在Linux系统中，进程状态除了我们所熟知的TASK_RUNNING，TASK_INTERRUPTIBLE，TASK_STOPPED等，还有一个TASK_TRACED。这表明这个进程处于什么状态？ 2.strace可以方便的帮助我们记录进程所执行的系统调用，它是如何跟踪到进程执行的？ 3.gdb是我们调试程序的利器，可以设置断点，单步跟踪程序。它的实现原理又是什么？

阅读全文

LD_PRELOAD/DYLD_INSERT_LIBRARIES libc hook

Posted by 夏泽民 Sep 21, 2018

一、LD_PRELOAD是什么 LD_PRELOAD是Linux系统的一个环境变量，它可以影响程序的运行时的链接（Runtime linker），它允许你定义在程序运行前优先加载的动态链接库。这个功能主要就是用来有选择性的载入不同动态链接库中的相同函数。通过这个环境变量，我们可以在主程序和其动态链接库的中间加载别的动态链接库，甚至覆盖正常的函数库。一方面，我们可以以此功能来使用自己的或是更好的函数（无需别人的源码），而另一方面，我们也可以以向别人的程序注入程序，从而达到特定的目的。 编译、设置指令 gcc mystrcmp.c -fPIC -shared -o libmystrcmp.so #编译动态链接库 gcc myverifypasswd.c -L. -lmystrcmp -o myverifypasswd #编译主程序 export LD_LIBRARY_PATH=/home/LD_PRELOAD #指定动态链接库所在目录位置 ldd myverifypasswd #显示、确认依赖关系 ./myverifypasswd #运行主程序myverifypasswd 二、LD_PRELOAD运用总结 定义与目标函数完全一样的函数，包括名称、变量及类型、返回值及类型等 将包含替换函数的源码编译为动态链接库 通过命令 export LD_PRELOAD=”库文件路径”，设置要优先替换动态链接库 如果找不替换库，可以通过 export LD_LIBRARY_PATH=库文件所在目录路径，设置系统查找库的目录 替换结束，要还原函数调用关系，用命令unset LD_PRELOAD 解除 想查询依赖关系，可以用ldd 程序名称 LD_PRELOAD： 在Unix操作系统的动态链接库的世界中，LD_PRELOAD就是这样一个环境变量 用以指定预先装载的一些共享库或目标文件，且无论程序是否依赖这些共享库或者文件，LD_PRELOAD指定的这些文件都会被装载 其优先级比LD_LIBRARY_PATH自定义的进程的共享库查找路径的执行还要早 全局符号介入 指在不同的共享库（对象）中存在同名符号时，一个共享对象中的全局符号被另一个共享对象的同名全局符号覆盖 因为LD_PRELOAD指定的共享库或者目标文件的装载顺序十分靠前，几乎是程序运行最先装载的，所以其中的全局符号如果和后面的库中的全局符号重名的话，就会覆盖后面装载的共享库或者目标文件中的全局符号。 因为装载顺序和全局符号介入的原理 它可以影响程序的运行时的链接（Runtime linker），它允许你定义在程序运行前优先加载的动态链接库。 这个功能主要就是用来有选择性的载入Unix操作系统不同动态链接库中的相同函数。通过这个环境变量，我们可以在主程序和其动态链接库的中间加载别的动态链接库，甚至覆盖正常的函数库。

阅读全文

Search

Blog Categories

jekyll (35)
web (334)
technology (2)
php (201)
linux (415)
spark (51)
deep_learning (2)
storage (290)
golang (1081)
cryptology (15)
lang (74)
docker (100)
zookeeper (11)
elasticsearch (86)
java (7)
algorithm (134)
hadoop (2)
slug (1)
architect (46)
k8s (107)
node (82)
python (18)
mysql (42)
rust (4)
elasticSearch (1)
arch (1)
Javascript (1)
kafka (2)
nginx (7)

Popular posts

Anything in here will be replaced on browsers that support the canvas element

Recent posts

Tags

This blog is maintained by 夏泽民

Get in touch with me at 465474307@qq.com

Subscribe to our mailing list

* indicates required