数据备份工具 BackupSerenity V2.1 新增CSV导入工具集
CSV导入工具集
作用：将将包含表头的CSV文件批量导入至MYSQL
使用方式：
启动脚本
nohup python3 csv_input_mysql.py > csv_input_mysql.log &
生成的文件名称 csv_input_mysql.log 可以根据情况修改，如果想保留全部日志可以将 > 替换为 >> 即可
导出错误日志
cat csv_input_mysql.log | grep '创建失败' > csv_input_mysql.log.ERR
获取全部CSV文件名称 [成功]
cat csv_input_mysql.log | grep '正在疯狂处理' | awk '{print $2}' > csv_files.list
获取全部表名称 [成功]
cat csv_input_mysql.log | grep '创建成功' | awk '{print $2}' > table_names.list
数据验证
源数据无法预估质量，会出现源数据换行等情况，此时可以使用清洗工具进行清洗，清洗后即可进行验证
通过数据导入程序进行导入程序后，对原始csv进行清洗
编辑 cleaned_data.py 文件修改
# 清洗前源数据
input_file = 'you_file.csv'
# 清洗后数据
output_file = 'cleaned_you_file.csv'
修改完成后进行执行
python3 cleaned_data.py
执行成功后通过wc命令进行行数获取
wc -l cleaned_you_file.csv
数据库通过
SELECT COUNT(1) FROM you_file
得出的数差值为1
数据验证成功！
具体点击原文链接查看，或直接访问 此链接 查看