当前位置： 首页 > news >正文

网站建设思维导图的要求网站收录一键提交

news 2025/7/4 11:18:20
网站建设思维导图的要求,网站收录一键提交,wordpress中文主题团队,网站建设属于什么服务问题 最近遇到 2 个超大 sql 文件导入，好一通折腾 文档在哪里 调优参数太多，文档都看不过来 找到这些参数也费劲, ubuntu 在 /etc/mysql/mysql.conf.d/mysqld.cnf 中找到这个链接 ...... # # The MySQL Server configuration file. # # For explanat…

问题

最近遇到 2 个超大 sql 文件导入，好一通折腾

文档在哪里

调优参数太多，文档都看不过来
找到这些参数也费劲,

  1. ubuntu 在 /etc/mysql/mysql.conf.d/mysqld.cnf 中找到这个链接

    ......
#
# The MySQL  Server configuration file.
#
# For explanations see
# http://dev.mysql.com/doc/mysql/en/server-system-variables.html

  2. centos 7 在 /etc/my.cnf 中找到这个链接

     # For advice on how to change settings please see# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html

  3. 官方调优文档
    14.15 InnoDB Startup Options and System Variables

  4. 耐心去阅读文档中那么多参数，需要勇气！
    最终我也是从这里 mysql使用多cpu抄来的

     # wzh 20230814# Set the number of CPUs to be used by MySQL #  # to half of the total available CPUsinnodb_thread_concurrency = 2## Set the number of buffer pool instancesinnodb_buffer_pool_instances = 2# #  # Set the size of the query cachequery_cache_size = 64M## wzh 20230814 bulk_insert_buffer_size = 2Ginnodb_log_buffer_size = 2Ginnodb_autoinc_lock_mode = 2#

调优后 三种导入方式对比

  1. 方式一: 使用 mysql source 命令，直接导入一个大文件 (18G)

    为了统计用时和绘画内部优化，将实际mysqldump 文件包含到 all.sql

     # cat all.sqlSET GLOBAL innodb_lru_scan_depth=256;set session sql_mode = 'ALLOW_INVALID_DATES';SET autocommit=0;SET unique_checks=0;SET foreign_key_checks=0;show global variables like 'innodb_lru_scan_depth';show variables like '%sql_mode%';  show variables like '%autocommit';show variables like '%unique_checks';show variables like '%foreign_key_checks';select now();-- one file 18Gsource /home/XXXdata/20191230_135112.sql;show global variables like 'innodb_lru_scan_depth';show variables like '%sql_mode%';show variables like '%autocommit';show variables like '%unique_checks';show variables like '%foreign_key_checks';select now();

    导入过程

     mysql > tee out-20230816.txtmysql > source /home/XXXdata/all.sql

    查看结果

     # cat out-20230816.txt......| 2023-08-16 08:17:02 |......| 2023-08-16 14:26:40 |

    总共耗时 6 小时 +

  2. 方式2⃣️: 使用shell 命令行后台任务，直接导入一个大文件 (18G)

    为了统计用时和绘画内部优化，将实际mysqldump 文件包含到 all.sql

     # cat all.sql 同前一个方式

    shell 后台任务

     # nohup  mysql -uroot -pPassword@123 --default-character-set=utf8 --force zXXX< /home/zXXX/all.sql > /home/out-20230817.txt 2>&1 &

    查看执行结果

     # cat out-20230817.txt......2023-08-16 21:08:52......2023-08-17 01:43:14

    用时 大约5 小时

  3. 方式三：SQLDumpSplitter切割 sql 文件 ( 每个 2G)，使用 mysql source 命令，

    切割后的结果

     # ls *.sql -l-rw-r--r--. 1 root root 2147482476 8月  10 14:13 20191230_135112_0.sql-rw-r--r--. 1 root root 2147482521 8月  10 14:15 20191230_135112_1.sql-rw-r--r--. 1 root root 2147482263 8月  10 14:17 20191230_135112_2.sql-rw-r--r--. 1 root root 2147482371 8月  10 14:19 20191230_135112_3.sql-rw-r--r--. 1 root root 2147481971 8月  10 14:21 20191230_135112_4.sql-rw-r--r--. 1 root root 2147481699 8月  10 14:24 20191230_135112_5.sql-rw-r--r--. 1 root root 2147482612 8月  10 14:25 20191230_135112_6.sql-rw-r--r--. 1 root root 2147482594 8月  10 14:27 20191230_135112_7.sql-rw-r--r--. 1 root root  959044232 8月  10 14:28 20191230_135112_8.sql-rw-r--r--. 1 root root       1096 8月  16 14:14 all.sql

    all.sql

     # cat all.sql SELECT DATABASE();select now();SET GLOBAL innodb_lru_scan_depth=256;set session sql_mode = 'ALLOW_INVALID_DATES';SET autocommit=0;SET unique_checks=0;SET foreign_key_checks=0;show global variables like 'innodb_lru_scan_depth';show variables like '%sql_mode%';  show variables like '%autocommit';show variables like '%unique_checks';show variables like '%foreign_key_checks';-- 00source /home/XXXdata/20191230_135112_0.sql ;-- 01source /home/XXXdata/20191230_135112_1.sql ;-- 02source /home/XXXdata/20191230_135112_2.sql ;-- 03source /home/XXXdata/20191230_135112_3.sql ;-- 04source /home/XXXdata/20191230_135112_4.sql ;-- 05source /home/XXXdata/20191230_135112_5.sql ;-- 06source /home/XXXdata/20191230_135112_6.sql ;-- 07source /home/XXXdata/20191230_135112_7.sql ;-- 08source /home/XXXdata/20191230_135112_0.sql ;-- ALL OKshow global variables like 'innodb_lru_scan_depth';show variables like '%sql_mode%';show variables like '%autocommit';show variables like '%unique_checks';show variables like '%foreign_key_checks';SELECT DATABASE();select now();

    导入过程

     mysql > tee out-20230816.txtmysql > source /home/XXXdata/all.sql

    查看结果

     cat out-20230816.txt......| 2023-08-16 08:17:02 |......| 2023-08-16 13:15:21 |

    总共耗时大约 5 小时

不调优，使用shell 命令行后台任务，直接导入一个大文件 (18G)

  1. 注释掉 my.cnf 中的调优， restart mysqld 服务

     # cat /etc/my.cnf# wzh 20230814# Set the number of CPUs to be used by MySQL #  # to half of the total available CPUs# innodb_thread_concurrency = 2## Set the number of buffer pool instances#innodb_buffer_pool_instances = 2#  # Set the size of the query cache# query_cache_size = 64M## wzh 20230814 # bulk_insert_buffer_size = 2G# innodb_log_buffer_size = 2G# innodb_autoinc_lock_mode = 2# wzh 20230817# default-time-zone='Asia/Shanghai'explicit_defaults_for_timestamp=truelog_timestamps=SYSTEM

    这就和安装完 mysql 5.7 之后，全部使用缺省值一样了

  2. shell 后台任务

     nohup  mysql -uroot -pPassword@123 --default-character-set=utf8 --force zXXX< /home/zXXX/all.sql > /home/out-20230817.txt 2>&1 &

  3. 查看结果

    cat /home/out-20230817.txt

    …
    2023-08-18 14:50:11
    …
    2023-08-18 19:43:37

    大约 5 小时，对比前面调优没有多大改进？

原因分析

决定实际完成快慢的，是该进程的 CPU 占用时间（ cputime ） ？

以下是中途记录的一段

#  ps -eo pid,euid,euser,lstart,etime,cputime,cmd | grep mysql
...1877     0 root     Fri Aug 18 08:22:21 2023    01:20:06 00:00:59 mysql -uroot -px xxxxxxxxxx --default-character-set=utf8 --force zXXX
...

可以看到，本次运行时间 01:20:06 ，CPU 占用时间 00:00:59 ，说明效率很高！

之前曾经有过运行一晚上，实际 cputime 才 2 个小时，效率太低了！

总结

  1. 切割 SQL 文件并不能显著改善导入速度 （也许我切割到 2G 还是太大了，感觉应该 1G ）

  2. 使用 shell 命令行 和 mysql source 命令要快大约 20%-30%

  3. 使用多 CPU 和增加缓存等办法，没有测出有明显效果

  4. 影响导入速度的还是导入过程中的错误忽略 sql_mode = ‘ALLOW_INVALID_DATES’ 和 autocommit 等优化

  5. shell 命令行 加上 --force

  6. 不要同时执行 2 个或以上大任务，互相影响！

  7. 提前判断好需要的硬盘空间，不要等最后才知道 disk full ，前功尽弃！

    查看磁盘空间

    df -h

    如果可以找到原始的数据库来源，查看数据库文件大小

    $ sudo du -sh /var/lib/mysql/zXXX
    26G /var/lib/mysql/zXXX

http://www.ritt.cn/news/938.html

相关文章：

  • 上海网站排名推广竞价排名的优缺点
  • 郑州上街网站建设公司构建新发展格局
  • 免费网站收录提交百度指数是干嘛的
  • 电子商务网站建设a卷网站建设的基本流程
  • 青海网站建设公司佛山全网营销推广
  • 做旅游宣传图的网站有哪些百度客服投诉中心
  • 网站多种语言是怎么做的沧州seo包年优化软件排名
  • 建立公司网站的好处找索引擎seo
  • 南京做网站公司 雷仁淘宝关键词搜索量查询
  • 北京企业网站开发公司哪家好现在最火的推广平台有哪些
  • html5网站的优点百度知道合伙人官网登录入口
  • 做培训体系的网站100个常用的关键词
  • 沈阳房产网合肥seo公司
  • 锡林浩特网站建设开发新站seo快速排名 排名
  • 做网站那个搜索引擎好店铺运营
  • it行业培训机构一般多少钱郑州seo培训
  • 宁晋网站建设公司百度广告点击软件
  • 阿里云网站建设怎么样做一个app平台需要多少钱
  • 公司网站没备案如何推广我的网站
  • 做网站好还是做安卓app好seo排名教程
  • 导购类网站建设多少钱腾讯云域名注册
  • 个人阿里云账号可以做网站备案网上推广用什么平台推广最好
  • 廊坊网站自助建站线上销售渠道有哪几种
  • 电池外贸一般在哪些网站做调价智能关键词软件
  • 菏泽手机网站建设网站优化的方法与技巧
  • 做文案图片上什么网站近期时事新闻10条
  • 企石镇做网站国通快速建站
  • 中铁航空港建设集团网站北京seo顾问外包
  • 创建站怎么上传网站怎么办百度怎么转人工客服
  • 南京优质网站建设方案大数据技术主要学什么