前言
mongodb备份脚本,可以全量或增量进行备份,两年前所写,目前网上mongodb备份相关的脚本也还是很少。下面话不多说了,来一起看看详细的介绍吧
功能
定期对mongodb数据库数据进行全量备份或增量备份(副本集架构),并可以压缩上传到阿里云oss(本地会先生成压缩包,可以设置不上传oss)。
脚本运行环境
使用python语言编写,需安装python,pymongo和mongodb shell客户端(测试时使用python 2.7.6,pymongo 3.0.3和mongodb shell 2.0.4)。
脚本部署步骤
1. 将脚本放到一台linux主机
2. 如果是增量备份,创建mongodb 备份角色用户或更高权限的admin库用户。(导出时会先切换到admin库来验证权限,需有查询local库,mongodump local库和mongodump目标库的权限)
增量时恢复步骤:1. 创建mongodb 具有applyOps权限的角色 以及用此角色的用户。(需有执行 mongorestore –oplogReplay的用户权限)
全量时恢复步骤:1. 修改 restore_full.py里的配置
增量备份实现原理一个周期内(如一星期)先备份一次全量数据库,然后后面每次备份 上次记录点到最新时间内的oplog文件。 Oplog 记录了MongoDB数据库的更改操作信息,其保存在local库的oplog.rs表,在集群架构才存在,单机不会有,故增量备份不能在单机下使用。从库是通过异步复制主库的Oplog文件,从而达到与主库的同步。 oplog有大小限制,超过指定大小,新的记录会覆盖旧的操作记录。
全量脚本执行时的流程
备份mongodb数据库到本地
进行压缩
上传到oss
检验oss与本地文件的大小是否相同
删除本地备份文件
增量脚本执行时的流程
恢复时脚本执行的流程
mongodb增量备份 脚本源码地址:
https://gitee.com/passer/mongodb_backup_script
本篇文章到此结束,如果您有相关技术方面疑问可以联系我们技术人员远程解决,感谢大家支持本站!