Mysql导出100万条数据,9种导出方法优缺点和速度、文件大小测试
·
这一次我主要就是想针对mysql导出的速度和文件大小进行优缺点测试,这次主要就是用上之前生成的天气表这是表里面的数据
导出就用Navicat中的导出向导
点开就会出现10种的导出方法,由于我不需要最后一种方法,所以就不进行测试,每种方法都对应着不同的作用
1.DBase文件
导出100万条,由于是数据库类型文件所以dbf导出后大小非常大,100万条数据有1.741GB,这种格式文件能够最大保证数据库内的数据完整性
2.文本文件
导出txt文件,100万条数据需要9.57秒,文件大小77MB勉强可以接受,也可以直接打开文件对里面的数据进行读取,win10自带软件打开文件超过1分钟,用notepad++打开txt文件就几秒
3. CSV文件
导出100万条数据需要9.22秒,文件大小在77.27MB,用notepad++打开几秒就可以显示全部内容
4.HTML文件
导出100万条数据需要7秒,文件大小在132MB,打开查看文件也是属于秒开
浏览器可以很直观看到排列好的数据,体验还是不错
5.Excel数据表低版本
用低版本Excel导出数据100万条需要用15秒,文件是131MB,而且单表最大只能支持65536行数据,如果超出会把你的数据进行拆分,打开读取数据时间也较久
6.Excel文件2007年以后版本
导出100万条数据需要42秒,文件大小是37MB,打开文件后需要读取数据在10秒,单表支持超过100万条数据不用担心被拆分的情况
7.SQL脚本文件
导出整个表的结构和100万条数据,需要18.5秒,文件大小在219MB
8.XML文件
导出需要8秒,文件大小在274MB,导出后可读性和改写性较差
9.JSON文件
导出100万条数据,需要9秒,文件在251MB
总结
可以根据自身的需求选择相应的mysql数据库导出方式,根据不同项目去选择相应的导出方式即可。
导出方式 | 文件大小 | 可改写性 | 数据安全性 | 导出速度 |
---|---|---|---|---|
1.DBase文件 | 1.741GB | 无 | 高 | 41秒 |
2.文本文件 | 77MB | 可以修改和查询数据 | 中 | 9.57秒 |
3.CSV文件 | 77.27MB | 可以修改和查询数据 | 中 | 9.22秒 |
4.HTML文件 | 132MB | 可以查询数据 | 中 | 7.04秒 |
5.Excel数据表低版本(不推荐) | 131MB | 可以增删改查数据和做可视化 | 中 | 15秒 |
6.Excel文件2007年以后版本 | 37MB | 可以增删改查数据和做可视化 | 中 | 42秒 |
7.SQL脚本文件 | 219MB | 无 | 高 | 18.5秒 |
8.XML文件 | 274MB | 可读性和改写性较差 | 高 | 8秒 |
9.JSON文件 | 251MB | 可读性和改写性较差 | 高 | 9秒 |
更多推荐
已为社区贡献2条内容
所有评论(0)