泽民博客 ☰ Menu

地理坐标的六边形编码(PHXIS)

Posted by 夏泽民 Nov 15, 2018

计算机科学的方法并没有使用离散数学的模型来模拟一个地理信息系统(GIS)–而是建模出了一个我们真是存在的物理空间框架。实际上，大家已经接受了传统使用的球形的坐标或者凸的笛卡尔坐标系。因为这这些模型定义的是连续的点，而不是离散的一片一片，所以我们称这些模型为模拟地理参考模型（Analog Earth Reference Models）。

阅读全文

大数据系统的Lambda架构

Posted by 夏泽民 Nov 11, 2018

Nathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Labmda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。

阅读全文

B树、B-树、B+树、B*树介绍

Posted by 夏泽民 Nov 11, 2018

由于索引是采用 B 树结构存储的，所以对应的索引项并不会被删除，经过一段时间的增删改操作后，数据库中就会出现大量的存储碎片， 这和磁盘碎片、内存碎片产生原理是类似的，这些存储碎片不仅占用了存储空间，而且降低了数据库运行的速度。如果发现索引中存在过多的存储碎片的话就要进行 “碎片整理”了，最方便的“碎片整理” 手段就是重建索引， 重建索引会将先前创建的索引删除然后重新创建索引，主流数据库管理系统都提供了重建索引的功能，比如 REINDEX、REBUILD 等，如果使用的数据库管理系统没有提供重建索引的功能，可以首先用DROP INDEX语句删除索引，然后用ALTER TABLE 语句重新创建索引。

阅读全文

Phoenix

Posted by 夏泽民 Nov 11, 2018

一、Phoenix 介绍： Phoenix提供了类标准Sql的方式进行操作Hbase的数据。 Phoenix 操作hbase有两种方式，创建表，创建视图。 区别如下： 创建表的话，就可以对HBase进行插入，查询，删除操作。 视图的话，一般就只可以进行查询操作。 虽然看起来表的功能比视图更强大一些。但就像是mysql等关系型数据库一样，删除视图操作不会影响原始表的结构。同时Phoenix的视图也支持创建二级索引相关的。 因为使用phoenix 创建表后，会自动和hbase建立关联映射。当你使用phoenix删除和hbase之间的关系时，就会将hbase中的表也删掉了，并将与之关联的索引表一并删除。 二、phoenix 常用命令 温馨提示：笔者开启了Kerberos安全认证机制，因此第一步是先对机器进行Kerberos认证；如果开启了用户访问hbase表权限相关的，通过phoenix查询hbase中的表需要开通该用户拥有访问hbase 系统表相关的权限。 注：phoenix会将没有用双引号的表名列名等转化成大写，所以如果表名跟列名为小写需用双引号括起来。 2.1 进入phoenix 命令行 [root@hdp39 ~]# cd /usr/hdp/2.5.3.0-37/phoenix/bin [root@hdp39 bin]# ./sqlline.py hdp39,hdp40,hdp41:2181 (集群采用的安全模式为kerberos,因而执行这条命令前进行kinit的用户必须拥有操作Hbase相关的权限) 2.2、help 查看内置命令 2.3、!tables List all the tables in the database

阅读全文

MHA的搭建

Posted by 夏泽民 Nov 9, 2018

Master High Availability又称MHA，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的软件。MySQL故障切换过程中，MHA能够做到在30秒之内自动完成数据库的故障切换操作，并在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。

阅读全文

Search

Blog Categories

jekyll (35)
web (334)
technology (2)
php (201)
linux (415)
spark (51)
deep_learning (2)
storage (290)
golang (1081)
cryptology (15)
lang (74)
docker (100)
zookeeper (11)
elasticsearch (86)
java (7)
algorithm (134)
hadoop (2)
slug (1)
architect (46)
k8s (107)
node (82)
python (18)
mysql (42)
rust (4)
elasticSearch (1)
arch (1)
Javascript (1)
kafka (2)
nginx (7)

Popular posts

Anything in here will be replaced on browsers that support the canvas element

Recent posts

Tags

This blog is maintained by 夏泽民

Get in touch with me at 465474307@qq.com

Subscribe to our mailing list

* indicates required