泽民博客 ☰ Menu

hive 表与hdfs关系

Posted by 夏泽民 Dec 8, 2018

Hive是一个SQL解析引擎，将SQL语句转译成MR Job，然后再Hadoop平台上运行，达到快速开发的目的。 • Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。本质就是Hadoop的目录/文件，达到了元数据与数据存储分离的目的 • Hive本身不存储数据，它完全依赖HDFS和MapReduce。 • Hive的内容是读多写少，不支持对数据的改写和删除 • Hive中没有定义专门的数据格式，由用户指定，需要指定三个属性：     – 列分隔符     – 行分隔符     – 读取文件数据的方法 1.  查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。

阅读全文

Shell 脚本中调用另一个 Shell 脚本

Posted by 夏泽民 Nov 28, 2018

fork: 如果脚本有执行权限的话，path/to/foo.sh。如果没有，sh path/to/foo.sh。 exec: exec path/to/foo.sh source: source path/to/foo.sh fork fork 是最普通的, 就是直接在脚本里面用 path/to/foo.sh 来调用 foo.sh 这个脚本，比如如果是 foo.sh 在当前目录下，就是 ./foo.sh。运行的时候 terminal 会新开一个子 Shell 执行脚本 foo.sh，子 Shell 执行的时候, 父 Shell 还在。子 Shell 执行完毕后返回父 Shell。 子 Shell 从父 Shell 继承环境变量，但是子 Shell 中的环境变量不会带回父 Shell。

阅读全文

Multipart File Upload

Posted by 夏泽民 Nov 26, 2018

multipart/form-data 顾名思义可以上传多个form-data 并且用分隔符进行分割，多用于文件上传 multipart/form-data 请求样例

阅读全文

golang 的坑

Posted by 夏泽民 Nov 26, 2018

Golang 使用 JSON unmarshal 数字到 interface{} 数字变成 float64 类型 由于 JSON 里的数字默认都会转成 Golang 的 float64 类型引起的， 使用 Golang 解析 JSON 格式数据时，若以 interface{} 接收数据，则会按照下列规则进行解析： bool, for JSON booleans float64, for JSON numbers

阅读全文

http basic authentication

Posted by 夏泽民 Nov 26, 2018

何为basic authentication In the context of a HTTP transaction, basic access authentication is a method for a HTTP user agent to provide a user name and password when making a request.

阅读全文

Search

Blog Categories

jekyll (35)
web (334)
technology (2)
php (201)
linux (415)
spark (51)
deep_learning (2)
storage (290)
golang (1081)
cryptology (15)
lang (74)
docker (100)
zookeeper (11)
elasticsearch (86)
java (7)
algorithm (134)
hadoop (2)
slug (1)
architect (46)
k8s (107)
node (82)
python (18)
mysql (42)
rust (4)
elasticSearch (1)
arch (1)
Javascript (1)
kafka (2)
nginx (7)

Popular posts

Anything in here will be replaced on browsers that support the canvas element

Recent posts

Tags

This blog is maintained by 夏泽民

Get in touch with me at 465474307@qq.com

Subscribe to our mailing list

* indicates required