MySQL数据维护之大表删除操作

MYSQL 维护之大表删除操作

背景说明

对于表的删除,因为InnoDB引擎会在table cache层面维护一个全局独占锁一直到DROP TABLE完成为止,这样,对于表的其他操作会被HANG住。对于较大的表来说,DROP TABLE操作可能需要很长的时间,因此需要一种有效的办法来提升大表的删除速度,以尽可能降低HANG住的时间。可以通过设置硬链接来达到此目的。比如有一个样例表:example_table, 该表有100G这么大,直接使用DROP TABLE来完成删表动作,那么这条语句要执行很长时间。

  • 使用InnoDB引擎且指定innodb_file_per_table=ON时在数据目录中与该表对应的有如下两个文件,分别为表定义文件和数据文件:

    sudo ls  -lh /data/mysql/testdb
    -rw-rw---- 1 mysql mysql 8.4K Oct 28 13:26 example_table.frm
    -rw-rw---- 1 mysql mysql 100G Oct 28 13:26 example_table.ibd
    

操作方法

  • 1.建立了硬链接 —此时便可以通过在该表对应的数据文件上设置硬链接来进行删除。

    sudo ln /data/mysql/testdb/example_table.ibd /data/mysql/testdb/example_table.ibd.hdlk
    -rw-rw---- 1 mysql mysql 8.4K Oct 28 13:26 example_table.frm
    -rw-rw---- 2 mysql mysql 100G Oct 28 13:26 example_table.ibd
    -rw-rw---- 2 mysql mysql 100G Oct 28 13:26 example_table.ibd.hdlk
    

    发现多了一个example_table.ibd.hdlk文件,且example_table.ibd.hdlk和example_table.ibd的innode均为2。也即当有多个文件名(如硬链接)指向同一innode时,这个innode的引用数大于1,此时,删除其中任何一个文件名都只会删除指向innode的指针而并不会直接删除物理文件块,因此会非常快,直至innode的引用计数等于1时才会真正删除对应的物理文件块,真正删除物理文件块时才会比较耗时。

  • 2.执行DROP TABLE —在建立了硬链接后再执行DROP TABLE操作

    DROP TABLE example_table;
    
  • 3.查看对应表数据 —发现会很快的完成,查看对应的表定义和数据文件:
    sudo ls  -lh /data/mysql/testdb  
    -rw-rw---- 1 mysql mysql 100G Oct 28 13:26 example_table.ibd.hdlk
    
    • 只剩下example_table.ibd.hdlk,且innode的引用计数变为了1。也即刚才的DROP TABLE操作实施删除了物理文件的一个指针example_table.ibd ,因而非常快。
  • 4.删除真正的物理文件

    剩下的任务就是删除真正的物理文件了,因为此时innode的引用计数已经变为了1,直接删除example_table.ibd.hdlk便会真正的删除物理文件。但因为物理文件较大,删除大文件仍会引起较高的磁盘IO开销。因此可以使用少量逐次删除的方式来删除大的数据文件。truncate工具可以用于增加或缩减指定文件的尺寸,可以用于此目的:

    for i in `seq 100 -1 1 ` ;do sleep 2;sudo truncate -s ${i}G /data/mysql/testdb/example_table.ibd.hdlk;done  
    sudo rm -rf /data/mysql/testdb/example_table.ibd.hdlk;
    

    从100G开始,每次缩减1G,停2秒,继续,直到文件只剩1G,最后使用rm命令删除剩余的部分。
      对于整个数据库的删除可以先删除其中较大的表,最后在执行DROP DATABASE删除整个库,对大表的删除可参见上面的方法。