泽民博客 ☰ Menu

mysqldump Mysql 大量数据快速导出

Posted by 夏泽民 Jan 5, 2020

mysqldump -u root -p -q -e -t webgps4 dn_location2 > dn_location2.sql mysqldump -u root -p -q -e -t –single-transaction webgps4 dn_location2 > dn_location2.sql source dn_location2.sql 以上是导入导出数据的语句，该方法15分钟导出1.6亿条记录，导出的文件中平均7070条记录拼成一个insert语句，通过source进行批量插入，导入1.6亿条数据耗时将近5小时。平均速度：3200W条/h。后来尝试加上–single-transaction参数，结果影响不大。另外，若在导出时增加-w参数，表示对导出数据进行筛选，那么导入导出的速度基本不变，筛选出的数据量越大，时间越慢而已。对于其中的参数这里进行说明： –quick，-q 该选项在导出大表时很有用，它强制 mysqldump 从服务器查询取得记录直接输出而不是取得所有记录后将它们缓存到内存中。

阅读全文

mysql优化技巧

Posted by 夏泽民 Jan 5, 2020

1、选取最适用的字段属性

阅读全文

mysql index

Posted by 夏泽民 Jan 5, 2020

一.索引是什么？ 索引是数据库中用来提高查询效率的技术，类似于目录。如果不使用索引，数据会零散的保存在磁盘块中，查询数据需要挨个遍历每一个磁盘块，直到找到数据为止，使用索引后会将磁盘块以树桩结构保存，查询数据时会大大降低磁盘块的访问数量，从而提高查询效率。如果表中的数据很少，使用索引反而会降低查询效率。并且索引会占用磁盘空间，一般只针对查询时常用的字段创建索引。索引分为聚集索引和非聚集索引，通过主键创建的索引称为聚集索引，聚集索引中保存数据，只要给表添加主键约束，则会自动创建聚集索引；通过非主键字段创建的索引称为非聚集索引，非聚集索引中没有数据。还可以通过多个字段来创建复合索引。

阅读全文

mysql 同库不同表索引不一样

Posted by 夏泽民 Jan 5, 2020

mysql可以实现，同一个数据库中，不同的表应用不同的存储引擎， mysql主从数据库里同一张表，数据引擎也可以不一样 1、先看看mysql当前默认存储引擎

阅读全文

Mysql模糊查询like效率

Posted by 夏泽民 Jan 5, 2020

在使用msyql进行模糊查询的时候，很自然的会用到like语句，通常情况下，在数据量小的时候，不容易看出查询的效率，但在数据量达到百万级，千万级的时候，查询的效率就很容易显现出来。这个时候查询的效率就显得很重要！

阅读全文

Search

Blog Categories

jekyll (35)
web (334)
technology (2)
php (201)
linux (415)
spark (51)
deep_learning (2)
storage (290)
golang (1081)
cryptology (15)
lang (74)
docker (100)
zookeeper (11)
elasticsearch (86)
java (7)
algorithm (134)
hadoop (2)
slug (1)
architect (46)
k8s (107)
node (82)
python (18)
mysql (42)
rust (4)
elasticSearch (1)
arch (1)
Javascript (1)
kafka (2)
nginx (7)

Popular posts

Anything in here will be replaced on browsers that support the canvas element

Recent posts

Tags

This blog is maintained by 夏泽民

Get in touch with me at 465474307@qq.com

Subscribe to our mailing list

* indicates required