Payment存量数据处理方案

payment

一.目前Payment的数据存储、备份方案

• 缓存中的数据固定时间过期
• DB中的数据按月进行分区
• 系统工程每天都会对DB中的数据进行备份（定时脚本+mysqldump）

二.相关人员对历史数据的需求

• 运营人员只会统计昨天的数据
• 客服一般不会去查询订单，只要玩家提供相关的支付截屏就会处理掉单
• 各项目相关人员在调试时通常只用使用当前生成的订单数据

三.对数据的要求

• 近期的数据可查，近期是指3个月以内
• 远期的数据有备份，重新导入到数据库后，可以进行查询，远期是指2年以内
• 更长期的数据可以删除，远期两年以上的数据

四.具体的操作方案

• 继续使用目前的备份方式
• 在系统工程认为数据备份存储达到一定的规模（比如说硬盘占用过大、备份速度太慢），这时对时间最早的分区进行删除
• 删除分区时，由于分区的数据在下次备份时就不存在了，所以，在删除前的一次备份需要进行一个较长时间的保存
• 由于目前是每次全部备份，每次备份的数据有重复且占用空间，可适当清理每日的例行备份
• 删除分区的操作步骤

#查看表的分区信息
mysql> select partition_name part, partition_expression expr, partition_description descr, table_rows from information_schema.partitions where table_schema = schema() and table_name='user_credit';
+---------+----------------------+--------+------------+
| part    | expr                 | descr  | table_rows |
+---------+----------------------+--------+------------+
| p201604 | TO_DAYS(create_date) | 736450 |        302 |
| p201605 | TO_DAYS(create_date) | 736481 |         63 |
| p201606 | TO_DAYS(create_date) | 736511 |         50 |
| p201607 | TO_DAYS(create_date) | 736542 |         65 |
| p201608 | TO_DAYS(create_date) | 736573 |         69 |
| p201609 | TO_DAYS(create_date) | 736603 |         61 |
| p201610 | TO_DAYS(create_date) | 736634 |         77 |
| p201611 | TO_DAYS(create_date) | 736664 |         65 |
| p201612 | TO_DAYS(create_date) | 736695 |         62 |
| p201701 | TO_DAYS(create_date) | 736726 |         73 |
| p201702 | TO_DAYS(create_date) | 736754 |         55 |
| p201703 | TO_DAYS(create_date) | 736785 |         57 |
| p201704 | TO_DAYS(create_date) | 736815 |          0 |
...
...
#找出时间最早的一个分区进行删除操作
mysql> alter table user_credit drop partition p201604;
Query OK, 0 rows affected (1.33 sec)
Records: 0  Duplicates: 0  Warnings: 0
#删除成功
mysql> select partition_name part, partition_expression expr, partition_description descr, table_rows from information_schema.partitions where table_schema = schema() and table_name='user_credit';
+---------+----------------------+--------+------------+
| part    | expr                 | descr  | table_rows |
+---------+----------------------+--------+------------+
| p201605 | TO_DAYS(create_date) | 736481 |         63 |
| p201606 | TO_DAYS(create_date) | 736511 |         50 |
| p201607 | TO_DAYS(create_date) | 736542 |         65 |
| p201608 | TO_DAYS(create_date) | 736573 |         69 |
| p201609 | TO_DAYS(create_date) | 736603 |         61 |
| p201610 | TO_DAYS(create_date) | 736634 |         77 |
...
...