NoSQL，指的是非關(guān)系型的數(shù)據(jù)庫。
NoSQL有時(shí)也稱作Not Only SQL的縮寫
是對不同于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)庫管理系統(tǒng)的統(tǒng)稱。
對NoSQL最普遍的解釋是”非關(guān)聯(lián)型的”，強(qiáng)調(diào)Key-Value Stores和文檔數(shù)據(jù)庫的優(yōu)點(diǎn)，而不是單純的RDBMS。
NoSQL用于超大規(guī)模數(shù)據(jù)的存儲。
這些類型的數(shù)據(jù)存儲不需要固定的模式，無需多余操作就可以橫向擴(kuò)展。
今天我們可以通過第三方平臺可以很容易的訪問和抓取數(shù)據(jù)。
用戶的個(gè)人信息，社交網(wǎng)絡(luò)，地理位置，用戶生成的數(shù)據(jù)和用戶操作日志已經(jīng)成倍的增加。
我們?nèi)绻獙@些用戶數(shù)據(jù)進(jìn)行挖掘，那SQL數(shù)據(jù)庫已經(jīng)不適合這些應(yīng)用了
NoSQL數(shù)據(jù)庫的發(fā)展也卻能很好的處理這些大的數(shù)據(jù)。
mysql mongo
庫 庫
表 集合
字段 key:value
行 文檔
name age job
oldzhang 28 it
xiaozhang 28 it
xiaofei 18 student SZ
{name:'oldzhang',age:'28',job:'it'},
{name:'xiaozhang',age:'28',job:'it'},
{name:'xiaozhang',age:'28',job:'it',host:'SZ'}
高性能：
Mongodb提供高性能的數(shù)據(jù)持久性
尤其是支持嵌入式數(shù)據(jù)模型減少數(shù)據(jù)庫系統(tǒng)上的I/O操作
索引支持能快的查詢，并且可以包括來嵌入式文檔和數(shù)組中的鍵
豐富的語言查詢：
Mongodb支持豐富的查詢語言來支持讀寫操作（CRUD）以及數(shù)據(jù)匯總，文本搜索和地理空間索引
高可用性：
Mongodb的復(fù)制工具，成為副本集，提供自動故障轉(zhuǎn)移和數(shù)據(jù)冗余，
水平可擴(kuò)展性：
Mongodb提供了可擴(kuò)展性，作為其核心功能的一部分，分片是將數(shù)據(jù)分，在一組計(jì)算機(jī)上。
支持多種存儲引擎：
WiredTiger存儲引擎和、MMAPv1存儲引擎和InMemory存儲引擎
游戲場景，使用 MongoDB 存儲游戲用戶信息，用戶的裝備、積分等直接以內(nèi)嵌文檔的形式存儲，方便查詢、更新
物流場景，使用 MongoDB 存儲訂單信息，訂單狀態(tài)在運(yùn)送過程中會不斷更新，以 MongoDB 內(nèi)嵌數(shù)組的形式來存儲，一次查詢就能將訂單所有的變更讀取出來。
社交場景，使用 MongoDB 存儲存儲用戶信息，以及用戶發(fā)表的朋友圈信息，通過地理位置索引實(shí)現(xiàn)附近的人、地點(diǎn)等功能
物聯(lián)網(wǎng)場景，使用 MongoDB 存儲所有接入的智能設(shè)備信息，以及設(shè)備匯報(bào)的日志信息，并對這些信息進(jìn)行多維度的分析
視頻直播，使用 MongoDB 存儲用戶信息、禮物信息等
電商場景，使用 MongoDB
商城上衣和褲子兩種商品，除了有共同屬性，如產(chǎn)地、價(jià)格、材質(zhì)、顏色等外，還有各自有不同的屬性集，如上衣的獨(dú)有屬性是肩寬、胸圍、袖長等，褲子的獨(dú)有屬性是臀圍、腳口和褲長等
1.規(guī)劃目錄
#軟件所在目錄
/opt/mongodb
#單節(jié)點(diǎn)目錄
/opt/mongo_27017/{conf,log,pid}
#數(shù)據(jù)目錄
/data/mongo_27017
2.下載依賴并解壓(上傳安裝包)
yum install libcurl openssl -y
cd /opt/
wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.6.13.tgz
tar zxvf mongodb-linux-x86_64-3.6.13.tgz
ln -s mongodb-linux-x86_64-3.6.13 mongodb
3.創(chuàng)建文件目錄以及數(shù)據(jù)目錄
mkdir /opt/mongo_27017/{conf,logs,pid} -p
mkdir /data/mongo_27017 -p
1.創(chuàng)建配置文件
cat > /opt/mongo_27017/conf/mongodb.conf << EOF
systemLog:
destination: file
logAppend: true
path: /opt/mongo_27017/logs/mongodb.log
storage:
journal:
enabled: true
dbPath: /data/mongo_27017
directoryPerDB: true
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
processManagement:
fork: true
pidFilePath: /opt/mongo_27017/pid/mongod.pid
net:
port: 27017
bindIp: 127.0.0.1,10.0.0.51
EOF
2.啟動mongo
/opt/mongodb/bin/mongod -f /opt/mongo_27017/conf/mongodb.conf
3.檢查是否啟動
ps -ef|grep mongo
netstat -lntup|grep 27017
1.寫入環(huán)境變量
echo 'PATH=$PATH:/opt/mongodb/bin' >> /etc/profile
source /etc/profile
2.登錄
mongo db01:27017
3.關(guān)閉
方法1：
使用localhost登錄
mongo localhost:27017
use admin
db.shutdownServer()
方法2：
mongod -f /opt/mongo_27017/conf/mongodb.conf --shutdown
1.訪問控制
WARNING: Access control is not enabled for the database.
Read and write access to data and configuration is unrestricted.
解決方法：
開啟安全認(rèn)證功能
#創(chuàng)建管理用戶
mongo db01:27017
use admin
db.createUser(
{
user: "admin",
pwd: "123456",
roles:[
{
role: "root",
db:"admin"
}
]
}
)
#查看創(chuàng)建的用戶
db.getUsers()
#配置文件添加權(quán)限認(rèn)證參數(shù)/opt/mongo_27017/conf/mongodb.conf
security:
authorization: enabled
#重啟mongo
mongod -f /opt/mongo_27017/conf/mongodb.conf --shutdown
mongod -f /opt/mongo_27017/conf/mongodb.conf
#使用admin用戶登錄
mongo db01:27017 -uadmin -p --authenticationDatabase admin
2.以root用戶運(yùn)行
WARNING: You are running this process as the root user, which is not recommended.
解決步驟：
mongod -f /opt/mongo_27017/conf/mongodb.conf --shutdown
useradd mongo
echo '123456'|passwd --stdin mongo
chown -R mongo:mongo /opt/
chown -R mongo:mongo /data/
su - mongo
mongod -f /opt/mongo_27017/conf/mongodb.conf
mongo
logout #切換用戶
3.關(guān)閉大內(nèi)存頁技術(shù)
WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.
We suggest setting it to 'never'
WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'.
We suggest setting it to 'never'
解決方法：
臨時(shí)解決：
echo "never" >/sys/kernel/mm/transparent_hugepage/enabled
echo "never" >/sys/kernel/mm/transparent_hugepage/defrag
寫入開機(jī)自啟動：
chmod +x /etc/rc.d/rc.local
vim /etc/rc.d/rc.local
echo "never" >/sys/kernel/mm/transparent_hugepage/enabled
echo "never" >/sys/kernel/mm/transparent_hugepage/defrag
驗(yàn)證：
mongod -f /opt/mongo_27017/conf/mongodb.conf --shutdown
mongod -f /opt/mongo_27017/conf/mongodb.conf
mongo
4.解決rlimits太低
WARNING: soft rlimits too low. rlimits set to 31771 processes, 65535 files. Number of processes should be at least 32767.5 : 0.5 times number of files.
解決方法：
vim /etc/profile
ulimit -f unlimited
ulimit -t unlimited
ulimit -v unlimited
ulimit -n 64000
ulimit -m unlimited
ulimit -u 64000
生效配置:
source /etc/profile
驗(yàn)證：
mongod -f /opt/mongo_27017/conf/mongodb.conf --shutdown
mongod -f /opt/mongo_27017/conf/mongodb.conf
mongo
[root@db01 ~]# cat /etc/init.d/disable-transparent-hugepages
#!/bin/bash
### BEGIN INIT INFO
# Provides: disable-transparent-hugepages
# Required-Start: $local_fs
# Required-Stop:
# X-Start-Before: mongod mongodb-mms-automation-agent
# Default-Start: 2 3 4 5
# Default-Stop: 0 1 6
# Short-Description: Disable Linux transparent huge pages
# Description: Disable Linux transparent huge pages, to improve
# database performance.
### END INIT INFO
case $1 in
start)
if [ -d /sys/kernel/mm/transparent_hugepage ]; then
thp_path=/sys/kernel/mm/transparent_hugepage
elif [ -d /sys/kernel/mm/redhat_transparent_hugepage ]; then
thp_path=/sys/kernel/mm/redhat_transparent_hugepage
else
return 0
fi
echo 'never' > ${thp_path}/enabled
echo 'never' > ${thp_path}/defrag
re='^[0-1]+$'
if [[ $(cat ${thp_path}/khugepaged/defrag) =~ $re ]]
then
# RHEL 7
echo 0 > ${thp_path}/khugepaged/defrag
else
# RHEL 6
echo 'no' > ${thp_path}/khugepaged/defrag
fi
unset re
unset thp_path
;;
esac
[root@db01 ~]# chkconfig --add disable-transparent-hugepages
[root@db01 ~]# chkconfig --list|grep disable
1.查詢一條,注意大小寫字母
db.user_info.findOne()
2.查詢所有
db.user_info.find()
3.查詢符合條件
db.user_info.find({"age":28})
select * from user_info where age = 28;
4.查詢嵌套的條件
db.inventory.find( { "size.uom": "in" } )
db.inventory.find(
{
"size.uom": "in"
}
)
5.邏輯查詢：and
db.inventory.find( { "size.uom": "cm" ,"status" : "A"} )
db.inventory.find(
{
"size.uom": "cm" ,
"status" : "A"
}
)
6.邏輯查詢 或
db.inventory.find(
{
$or:[
{status:"D"},
{qty:{$lt:30}}
]
}
)
7.邏輯查詢+或+and+正則表達(dá)式
db.inventory.find({status:"A",$or:[{qty:{$lt:30}},{item:/^p/}]})
db.inventory.find(
{
status: "A",
$or: [
{ qty: { $lt: 30 } },
{ item: /^p/ }
]
}
)
db.inventory.find(
{
status: "A",
$or: [
{ qty: { $gt: 30 } },
{ item: /^p/ }
]
}
)
查看指令
test:登錄時(shí)默認(rèn)存在的庫
admin庫:系統(tǒng)預(yù)留庫,MongoDB系統(tǒng)管理庫
local庫:本地預(yù)留庫,存儲關(guān)鍵日志
config庫:MongoDB配置信息庫
查看數(shù)據(jù)庫命令
show databases/show dbs
show tables/show collections
use admin
db/select database()
插入命令
1.插入單條
db.user_info.insert({"name":"zhangya","age":27,"ad":"北京市朝陽區(qū)"})
db.user_info.insert({"name":"zhangya","age":27,"ad":"北京市朝陽區(qū)"})
db.user_info.insert({"name":"yazhang","age":28,"ad":"北京市朝陽區(qū)"})
db.user_info.insert({"name":"xiaozhang","age":28,"ad":"北京市朝陽區(qū)"})
db.user_info.insert({"name":"xiaozhang","age":28,"ad":"北京市朝陽區(qū)","sex":"boy"})
2.插入多條
db.inventory.insertMany( [
{ "item": "journal", "qty": 25, "size": { "h": 14, "w": 21, "uom": "cm" }, "status": "A" },
{ "item": "notebook", "qty": 50, "size": { "h": 8.5, "w": 11, "uom": "in" }, "status": "A" },
{ "item": "paper", "qty": 100, "size": { "h": 8.5, "w": 11, "uom": "in" }, "status": "D" },
{ "item": "planner", "qty": 75, "size": { "h": 22.85, "w": 30, "uom": "cm" }, "status": "D" },
{ "item": "postcard", "qty": 45, "size": { "h": 10, "w": 15.25, "uom": "cm" }, "status": "A" }
]);
更新數(shù)據(jù)
1.更改匹配條件的單條數(shù)據(jù)
db.inventory.find({ "item" : "paper" })
db.inventory.updateOne{ "item" : "paper" },{$set: { "size.uom" : "cm", "status" : "P" }})
db.inventory.updateOne(
{ "item" : "paper" },
{
$set: {
"size.uom" : "cm",
"status" : "P"
}
}
)
2.更改匹配條件的多條數(shù)據(jù)
db.inventory.find({ "qty" : { $lt: 50 } })
db.inventory.updateMany(
{ "qty" : { $lt: 50 } },
{
$set:
{
"size.uom" : "mm",
"status": "P"
}
}
)
3.添加字段
db.user_info.find({ "age" : 27})
db.user_info.updateMany(
{ "age" : 27},
{
$set:
{
"pet" : "cat"
}
}
)
索引
1.查看執(zhí)行計(jì)劃
db.user_info.find({"age":{ $lt: 30 }})
db.user_info.find({"age":{ $lt: 30 }}).explain() #查看詳細(xì)的信息
2.創(chuàng)建索引
db.user_info.createIndex({ age: 1 },{background: true})
注:建索引過程會阻塞其它數(shù)據(jù)庫操作，background可指定以后臺方式創(chuàng)建索引，即增加 "background" 可選參數(shù)。 "background" 默認(rèn)值為false。
3.查看索引
db.user_info.getIndexes()
4.再次查看執(zhí)行計(jì)劃
db.user_info.find({"age":{ $lt: 30 }}).explain()
關(guān)鍵詞
"stage" : "IXSCAN"
"indexName" : "age_1"
5.刪除索引
db.user_info.dropIndex("age_1")
db.user_info.dropIndex("age_1")
其他索引類型
COLLSCAN – Collection scan #全表掃描
IXSCAN – Scan of data in index keys #索引掃描
FETCH – Retrieving documents 檢出掃描
SHARD_MERGE – Merging results from shards #合并分片中結(jié)果
SORT – Explicit sort rather than using index orde
COLLSCAN 集合掃描
IXSCAN 索引掃描
FETCH 檢出文檔
SHARD_MERGE 合并分片中結(jié)果
SHARDING_FILTER 分片中過濾掉孤立文檔
LIMIT 使用limit 限制返回?cái)?shù)
PROJECTION 使用 skip 進(jìn)行跳過
IDHACK 針對_id進(jìn)行查詢
COUNT 利用db.coll.explain().count()之類進(jìn)行count運(yùn)算
COUNTSCAN count不使用Index進(jìn)行count時(shí)的stage返回
COUNT_SCAN count使用了Index進(jìn)行count時(shí)的stage返回
SUBPLA 未使用到索引的$or查詢的stage返回
TEXT 使用全文索引進(jìn)行查詢時(shí)候的stage返回
PROJECTION 限定返回字段時(shí)候stage的返回
參照文檔:
https://xuexiyuan.cn/article/detail/179.html?from=csdn
1.先查找需要?jiǎng)h除的數(shù)據(jù)
db.inventory.find({"status":"P"})
2.刪除單條
db.inventory.deleteOne({"status":"P"})
3.刪除多個(gè)
db.inventory.deleteMany({"status":"P"})
4.刪除索引
db.user_info.dropIndex("age_1")
4.刪除集合
show dbs
db
show tables
db.inventory.drop()
5.刪除庫
show dbs
db
db.dropDatabase()
mongo工具
0.命令介紹
mongod #啟動命令
mongo #登錄命令
mongodump #備份導(dǎo)出，全備壓縮
mongorestore #恢復(fù)
mongoexport #備份，數(shù)據(jù)可讀json
mongoimport #恢復(fù)
mongostat #查看mongo運(yùn)行狀態(tài)
mongotop #查看mongo運(yùn)行狀態(tài)
mongos #集群分片命令
1.mongostat
各字段解釋說明：
insert/s : 官方解釋是每秒插入數(shù)據(jù)庫的對象數(shù)量，如果是slave，則數(shù)值前有*,則表示復(fù)制集操作
query/s : 每秒的查詢操作次數(shù)
update/s : 每秒的更新操作次數(shù)
delete/s : 每秒的刪除操作次數(shù)
getmore/s: 每秒查詢cursor(游標(biāo))時(shí)的getmore操作數(shù)
command: 每秒執(zhí)行的命令數(shù)，在主從系統(tǒng)中會顯示兩個(gè)值(例如 3|0),分表代表 本地|復(fù)制 命令
注： 一秒內(nèi)執(zhí)行的命令數(shù)比如批量插入，只認(rèn)為是一條命令（所以意義應(yīng)該不大）
dirty: 僅僅針對WiredTiger引擎，官網(wǎng)解釋是臟數(shù)據(jù)字節(jié)的緩存百分比
used:僅僅針對WiredTiger引擎，官網(wǎng)解釋是正在使用中的緩存百分比
flushes: 一般0或者偶爾出現(xiàn)1,一直出現(xiàn)有問題
For WiredTiger引擎：指checkpoint的觸發(fā)次數(shù)在一個(gè)輪詢間隔期間
For MMAPv1 引擎：每秒執(zhí)行fsync將數(shù)據(jù)寫入硬盤的次數(shù)
注：一般都是0，間斷性會是1， 通過計(jì)算兩個(gè)1之間的間隔時(shí)間，可以大致了解多長時(shí)間flush一次。flush開銷是很大的，如果頻繁的flush，可能就要找找原因了
vsize： 虛擬內(nèi)存使用量，單位MB （這是 在mongostat 最后一次調(diào)用的總數(shù)據(jù)）
res: 物理內(nèi)存使用量，單位MB （這是 在mongostat 最后一次調(diào)用的總數(shù)據(jù)）
注：這個(gè)和你用top看到的一樣, vsize一般不會有大的變動， res會慢慢的上升，如果res經(jīng)常突然下降，去查查是否有別的程序狂吃內(nèi)存。
qr: 客戶端等待從MongoDB實(shí)例讀數(shù)據(jù)的隊(duì)列長度
qw：客戶端等待從MongoDB實(shí)例寫入數(shù)據(jù)的隊(duì)列長度
ar: 執(zhí)行讀操作的活躍客戶端數(shù)量
aw: 執(zhí)行寫操作的活客戶端數(shù)量
注：如果這兩個(gè)數(shù)值很大，那么就是DB被堵住了，DB的處理速度不及請求速度。看看是否有開銷很大的慢查詢。如果查詢一切正常，確實(shí)是負(fù)載很大，就需要加機(jī)器了
netIn:MongoDB實(shí)例的網(wǎng)絡(luò)進(jìn)流量
netOut：MongoDB實(shí)例的網(wǎng)絡(luò)出流量
注：此兩項(xiàng)字段表名網(wǎng)絡(luò)帶寬壓力，一般情況下，不會成為瓶頸
conn: 打開連接的總數(shù)，是qr,qw,ar,aw的總和
注：MongoDB為每一個(gè)連接創(chuàng)建一個(gè)線程，線程的創(chuàng)建與釋放也會有開銷，所以盡量要適當(dāng)配置連接數(shù)的啟動參數(shù)，maxIncomingConnections，阿里工程師建議在5000以下，基本滿足多數(shù)場景
創(chuàng)建用戶和角色
0.與用戶相關(guān)的命令
db.auth() 將用戶驗(yàn)證到數(shù)據(jù)庫。
db.changeUserPassword() 更改現(xiàn)有用戶的密碼。
db.createUser() 創(chuàng)建一個(gè)新用戶。
db.dropUser() 刪除單個(gè)用戶。
db.dropAllUsers() 刪除與數(shù)據(jù)庫關(guān)聯(lián)的所有用戶。
db.getUser() 返回有關(guān)指定用戶的信息。
db.getUsers() 返回有關(guān)與數(shù)據(jù)庫關(guān)聯(lián)的所有用戶的信息。
db.grantRolesToUser() 授予用戶角色及其特權(quán)。
db.removeUser() 已過時(shí)。從數(shù)據(jù)庫中刪除用戶。
db.revokeRolesFromUser() 從用戶中刪除角色。
db.updateUser() 更新用戶數(shù)據(jù)。
1.創(chuàng)建管理用戶
mongo db01:27017
use admin
db.createUser(
{
user: "admin",
pwd: "123456",
roles:[
{
role: "root",
db:"admin"
}
]
}
)
2.查看創(chuàng)建的用戶
db.getUsers()
3.配置文件添加權(quán)限認(rèn)證參數(shù)/opt/mongo_27017/conf/mongodb.conf
配置問權(quán)限認(rèn)證后需要重啟節(jié)點(diǎn)，再次登陸如果不使用賬號密碼就查看不了數(shù)據(jù)
security:
authorization: enabled
4.重啟mongo
mongod -f /opt/mongo_27017/conf/mongodb.conf --shutdown
mongod -f /opt/mongo_27017/conf/mongodb.conf
5.使用admin用戶登錄
mongo db01:27017 -uadmin -p --authenticationDatabase admin
6.創(chuàng)建其他用戶
use test
db.createUser(
{
user: "mysun",
pwd: "123456",
roles: [ { role: "readWrite", db: "write" },
{ role: "read", db: "read" } ]
}
)
7.創(chuàng)建測試數(shù)據(jù)
use write
db.write.insert({"name":"zhangya","age":27,"ad":"北京市朝陽區(qū)"})
db.write.insert({"name":"zhangya","age":27,"ad":"北京市朝陽區(qū)"})
db.write.insert({"name":"yazhang","age":28,"ad":"北京市朝陽區(qū)"})
db.write.insert({"name":"xiaozhang","age":28,"ad":"北京市朝陽區(qū)"})
db.write.insert({"name":"xiaozhang","age":28,"ad":"北京市朝陽區(qū)","sex":"boy"})
use read
db.read.insert({"name":"zhangya","age":27,"ad":"北京市朝陽區(qū)"})
db.read.insert({"name":"zhangya","age":27,"ad":"北京市朝陽區(qū)"})
db.read.insert({"name":"yazhang","age":28,"ad":"北京市朝陽區(qū)"})
db.read.insert({"name":"xiaozhang","age":28,"ad":"北京市朝陽區(qū)"})
db.read.insert({"name":"xiaozhang","age":28,"ad":"北京市朝陽區(qū)","sex":"boy"})
8.退出admin，使用mysun用戶登錄
mongo db01:27017 -umysun -p --authenticationDatabase test
use write
db.write.find()
db.write.insert({"name":"zhangya","age":27,"ad":"北京市朝陽區(qū)"})
use read
db.read.find()
db.read.insert({"name":"zhangya","age":27,"ad":"北京市朝陽區(qū)"})
9.修改用戶權(quán)限
use test
db.updateUser(
'mysun',
{
pwd: "123456",
roles: [ { role: "readWrite", db: "write" },
{ role: "readWrite", db: "read" } ,
{ role: "readWrite", db: "test" }
]
}
)
10.刪除用戶
db.getUsers()
db.dropUser('mysun')
mongo副本集配置
1.創(chuàng)建節(jié)點(diǎn)目錄和數(shù)據(jù)目錄
su - mongo
mongod -f /opt/mongo_27017/conf/mongodb.conf --shutdown
mkdir -p /opt/mongo_2801{7,8,9}/{conf,log,pid}
mkdir -p /data/mongo_2801{7,8,9}
2.創(chuàng)建配置文件
cat >/opt/mongo_28017/conf/mongo_28017.conf <<EOF
systemLog:
destination: file
logAppend: true
path: /opt/mongo_28017/log/mongodb.log
storage:
journal:
enabled: true
dbPath: /data/mongo_28017
directoryPerDB: true
wiredTiger:
engineConfig:
cacheSizeGB: 0.5
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
processManagement:
fork: true
pidFilePath: /opt/mongo_28017/pid/mongod.pid
net:
port: 28017
bindIp: 127.0.0.1,10.0.0.51
replication:
oplogSizeMB: 1024
replSetName: dba
EOF
3.復(fù)制配置文件到其他節(jié)點(diǎn)
cp /opt/mongo_28017/conf/mongo_28017.conf /opt/mongo_28018/conf/mongo_28018.conf
cp /opt/mongo_28017/conf/mongo_28017.conf /opt/mongo_28019/conf/mongo_28019.conf
4.替換端口號
sed -i 's#28017#28018#g' /opt/mongo_28018/conf/mongo_28018.conf
sed -i 's#28017#28019#g' /opt/mongo_28019/conf/mongo_28019.conf
5.啟動所有節(jié)點(diǎn)
mongod -f /opt/mongo_28017/conf/mongo_28017.conf
mongod -f /opt/mongo_28018/conf/mongo_28018.conf
mongod -f /opt/mongo_28019/conf/mongo_28019.conf
6.初始化集群
config = {
_id : "dba",
members : [
{_id : 0, host : "db01:28017"},
{_id : 1, host : "db01:28018"},
{_id : 2, host : "db01:28019"},
]}
rs.initiate(config)
#登錄
mongo db01:28017
7.插入數(shù)據(jù)
db.inventory.insertMany( [
{ "item": "journal", "qty": 25, "size": { "h": 14, "w": 21, "uom": "cm" }, "status": "A" },
{ "item": "notebook", "qty": 50, "size": { "h": 8.5, "w": 11, "uom": "in" }, "status": "A" },
{ "item": "paper", "qty": 100, "size": { "h": 8.5, "w": 11, "uom": "in" }, "status": "D" },
{ "item": "planner", "qty": 75, "size": { "h": 22.85, "w": 30, "uom": "cm" }, "status": "D" },
{ "item": "postcard", "qty": 45, "size": { "h": 10, "w": 15.25, "uom": "cm" }, "status": "A" }
]);
8.副本節(jié)點(diǎn)登錄查看數(shù)據(jù)
rs.slaveOk()
use test
db.inventory.find()
9.設(shè)置副本可讀
方法1:臨時(shí)生效
rs.slaveOk()
方法2:寫入啟動文件
echo "rs.slaveOk()" > ~/.mongorc.js
查看副本集狀態(tài)
rs.slaveOk() #讓副本可以讀
rs.status() #查看副本集詳細(xì)狀態(tài)
rs.isMaster() #查看當(dāng)前的主節(jié)點(diǎn)是誰
rs.printReplicationInfo() #oplog記錄信息
rs.printSlaveReplicationInfo() #查看復(fù)制延遲信息
rs.config() #打印當(dāng)前副本集的配置信息
停節(jié)點(diǎn)
使用這條命令的前提是必須使用localhost登陸，否則會提示報(bào)錯(cuò)
use admin
db.shutdownserver()
副本集權(quán)重調(diào)整
0.模擬故障轉(zhuǎn)移
mongod -f /opt/mongo_28017/conf/mongo_28017.conf --shutdown
mongod -f /opt/mongo_28017/conf/mongo_28017.conf
1.查看當(dāng)前副本集配置
rs.conf()
2.設(shè)置權(quán)重(主節(jié)點(diǎn))
config=rs.conf()
config.members[0].priority=100
rs.reconfig(config)
3.主節(jié)點(diǎn)主動降級
rs.stepDown()
4.恢復(fù)成默認(rèn)的權(quán)重
config=rs.conf()
config.members[0].priority=1
rs.reconfig(config)
創(chuàng)建新節(jié)點(diǎn)目錄及啟動
[mongo@db01 ~]$ mkdir /opt/mongo_28010/{conf,logs,pid} -p
[mongo@db01 ~]$ mkdir /data/mongo_28010
[mongo@db01 ~]$ cp /opt/mongo_28017/conf/mongo_28017.conf /opt/mongo_28010/conf/mongo_28010.conf
[mongo@db01 ~]$ sed -i 's#28017#28010#g' /opt/mongo_28010/conf/mongo_28010.conf
[mongo@db01 ~]$ mongod -f /opt/mongo_28010/conf/mongo_28010.conf
[mongo@db01 ~]$ mongo db01:28010
\>
增加新節(jié)點(diǎn)命令，主庫操作
[mongo@db01 ~]$ mongo db01:28017
dba:PRIMARY> use admin
switched to db admin
dba:PRIMARY> rs.add("db01:28010")
{
? "ok" : 1,
? "operationTime" : Timestamp(1572787956, 1),
? "$clusterTime" : {
? "clusterTime" : Timestamp(1572787956, 1),
? "signature" : {
? "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
? "keyId" : NumberLong(0)
? }
? }
}
查看新增加節(jié)點(diǎn)
[mongo@db01 ~]$ mongo db01:28010
dba:SECONDARY>
主節(jié)點(diǎn)操作
[mongo@db01 ~]$ mongo db01:28017
dba:PRIMARY> rs.remove("db01:28010")
{
? "ok" : 1,
? "operationTime" : Timestamp(1572787994, 1),
? "$clusterTime" : {
? "clusterTime" : Timestamp(1572787994, 1),
? "signature" : {
? "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
? "keyId" : NumberLong(0)
? }
? }
}
再次查看下線節(jié)點(diǎn)
[mongo@db01 ~]$ mongo db01:28010
dba:OTHER>
現(xiàn)在可以關(guān)閉節(jié)點(diǎn)了
[mongo@db01 ~]$ mongod -f /opt/mongo_28010/conf/mongo_28010.conf --shutdown
仲裁節(jié)點(diǎn)
1.創(chuàng)建新節(jié)點(diǎn)并啟動
mkdir -p /opt/mongo_28011/{conf,log,pid}
mkdir -p /data/mongo_28011
cp /opt/mongo_28017/conf/mongo_28017.conf /opt/mongo_28011/conf/mongo_28011.conf
sed -i 's#28017#28011#g' /opt/mongo_28011/conf/mongo_28011.conf
mongod -f /opt/mongo_28011/conf/mongo_28011.conf
mongo db01:28011
2.將仲裁節(jié)點(diǎn)加入集群
rs.addArb("db01:28010")
#移除
rs.remove("db01:28010")
常用選項(xiàng)
導(dǎo)出:
$ mongoexport --help
參數(shù)說明：
-h:指明數(shù)據(jù)庫宿主機(jī)的IP
-u:指明數(shù)據(jù)庫的用戶名
-p:指明數(shù)據(jù)庫的密碼
-d:指明數(shù)據(jù)庫的名字
-c:指明collection的名字
-f:指明要導(dǎo)出那些列
-o:指明到要導(dǎo)出的文件名
-q:指明導(dǎo)出數(shù)據(jù)的過濾條件
--authenticationDatabase admin
恢復(fù)
$ mongoimport --help
參數(shù)說明：
-h:指明數(shù)據(jù)庫宿主機(jī)的IP
-u:指明數(shù)據(jù)庫的用戶名
-p:指明數(shù)據(jù)庫的密碼
-d:指明數(shù)據(jù)庫的名字
-c:指明collection的名字
-f:指明要導(dǎo)入那些列
-j, --numInsertionWorkers=<number> number of insert operations to run concurrently (defaults to 1)
//并行
mongo備份與恢復(fù)
1.工具介紹
（1）mongoexport/mongoimport
（2）mongodump/mongorestore
2.應(yīng)用場景
1.異構(gòu)平臺遷移 mysql <---> mongodb
2.同平臺，跨大版本：mongodb 2 ----> mongodb 3
mongoexport/mongoimport:json csv
日常備份恢復(fù)時(shí)使用.
mongodump/mongorestore
3.導(dǎo)出工具mongoexport,json格式
單表備份
mongoexport --port 27017 -d test -c inventory -o /data/inventory.json
單表備份至csv格式,可以導(dǎo)出成excl表格
mongoexport --port 27017 -d test -c user_info --type=csv -f name,age,ad -o /data/user_info.csv
4.恢復(fù)
mongoimport --port 27017 -d test -c inventory /data/inventory.json
mongoimport --port 27017 -d test -c user_info --type=csv --headerline --file /data/user_info.csv
5.mysql數(shù)據(jù)遷移到mongo
[root@db01 ~]# yum install mariadb mariadb-server -y
配置mysql配置文件,增加安全導(dǎo)出目錄路徑
cat > /etc/my.cnf << EOF
secure-file-priv=/var/lib/mysql/
#重啟
systemctl restart mariadb.service
4.導(dǎo)入城市數(shù)據(jù)
[root@db01 ~]# mysql
MariaDB [(none)]> source /root/world.sql
#將樣本數(shù)據(jù)導(dǎo)出成csv格式
select * from world.city into outfile '/var/lib/mysql/city.csv' fields terminated by ',';
編輯csv文件,添加列名,
ID,Name,CountryCode,District,Population
mongoimport --port 27017 -d world -c city --type=csv --headerline --file /data/city.csv
mongoexport --port 27017 -d world -c city -o /data/city.json
6.導(dǎo)出與恢復(fù)
mongodump --port 27017 -o /data/backup
mongorestore --port 27017 -d world /data/backup/world/ --drop
mongorestore --port 27017 /data/backup/ --drop
1.介紹：
mongodump能夠在Mongodb運(yùn)行時(shí)進(jìn)行備份，它的工作原理是對運(yùn)行的Mongodb做查詢，然后將所有查到的文檔寫入磁盤。
但是存在的問題時(shí)使用mongodump產(chǎn)生的備份不一定是數(shù)據(jù)庫的實(shí)時(shí)快照，如果我們在備份時(shí)對數(shù)據(jù)庫進(jìn)行了寫入操作，則備份出來的文件可能不完全和Mongodb實(shí)時(shí)數(shù)據(jù)相等。另外在備份時(shí)可能會對其它客戶端性能產(chǎn)生不利的影響。
2.使用方法：
$ mongodump --help
參數(shù)說明：
-h:指明數(shù)據(jù)庫宿主機(jī)的IP
-u:指明數(shù)據(jù)庫的用戶名
-p:指明數(shù)據(jù)庫的密碼
-d:指明數(shù)據(jù)庫的名字
-c:指明collection的名字
-o:指明到要導(dǎo)出的文件名
-q:指明導(dǎo)出數(shù)據(jù)的過濾條件
-j, --numParallelCollections= number of collections to dump in parallel (4 by default)
--oplog 備份的同時(shí)備份oplog
注意：這是replica set或者master/slave模式專用
1.oplog介紹(可以實(shí)現(xiàn)熱備)
在replica set中oplog是一個(gè)定容集合（capped collection），它的默認(rèn)大小是磁盤空間的5%（可以通過--oplogSizeMB參數(shù)修改）.
位于local庫的db.oplog.rs，有興趣可以看看里面到底有些什么內(nèi)容。
其中記錄的是整個(gè)mongodb實(shí)例一段時(shí)間內(nèi)數(shù)據(jù)庫的所有變更（插入/更新/刪除）操作。
當(dāng)空間用完時(shí)新記錄自動覆蓋最老的記錄。
其覆蓋范圍被稱作oplog時(shí)間窗口。需要注意的是，因?yàn)閛plog是一個(gè)定容集合，
所以時(shí)間窗口能覆蓋的范圍會因?yàn)槟銌挝粫r(shí)間內(nèi)的更新次數(shù)不同而變化
想要查看當(dāng)前的oplog時(shí)間窗口預(yù)計(jì)值，可以使用以下命令：
dba58:PRIMARY> use local
dba58:PRIMARY> db.oplog.rs.find().pretty()
..................................
"ts" : Timestamp(1562403898, 1),
"op" : "n"
"o" :
"i": insert
"u": update
"d": delete
"c": db cmd
..................................
dba58:PRIMARY> rs.printReplicationInfo()
configured oplog size: 1024MB #集合大小
log length start to end: 104539secs (29.04hrs) #預(yù)計(jì)窗口覆蓋時(shí)間
oplog first event time: Sat Jul 06 2019 17:02:15 GMT+0800 (CST)
oplog last event time: Sun Jul 07 2019 22:04:34 GMT+0800 (CST)
now: Sun Jul 07 2019 22:04:38 GMT+0800 (CST)
準(zhǔn)備測試數(shù)據(jù)
全庫備份
[root@db01 ~]# mkdir /data/backup
[root@db01 ~]# chown -R mongo:mongo /data/backup/
[root@db01 ~]# su - mongo
#登錄mongodb
use backup
db.backup.insertMany( [
{ "id": 1},
{ "id": 2},
{ "id": 3},
]);
全備環(huán)境
rm -rf /data/backup/* 備份
mongodump --port 28017 --oplog -o /data/backup
壓縮備份
[mongo@db01 ~]$ mongodump --port 28017 -o /data/backup --gzip
[mongo@db01 ~]$ mongodump --port 28017 -d world -o /data/backup --gzip
增加新數(shù)據(jù)
mongo db01:28017
use backup
db.backup.insertMany( [
{ "id": 4},
{ "id": 5},
{ "id": 6},
]);
模擬刪除集合
mongo db01:28017
use backup
db.backup.drop()
備份oplog
mongodump --port 28017 -d local -c oplog.rs -o /data/backup
查找誤操作時(shí)間點(diǎn)
use local
db.oplog.rs.find({ns:"backup.$cmd"}).pretty();
找到時(shí)間點(diǎn)信息
"ts" : Timestamp(1575023546, 1),
恢復(fù)數(shù)據(jù)
cd /data/backup/local/
cp oplog.rs.bson ../oplog.bson
rm -rf /data/backup/local/
mongorestore --port 28017 --oplogReplay --oplogLimit "1575023546:1" --drop /data/backup/
1.首先確保是副本集狀態(tài)
2.先關(guān)閉1個(gè)副本節(jié)點(diǎn)
3.檢測數(shù)據(jù)是否可以升級
4.升級副本節(jié)點(diǎn)的可執(zhí)行文件
5.更新配置文件
6.啟動升級后的副本節(jié)點(diǎn)
7.確保集群工作正常
8.滾動升級其他副本節(jié)點(diǎn)
9.最后主節(jié)點(diǎn)降級
10.確保集群 可用
11.關(guān)閉降級的老的主節(jié)點(diǎn)
12.升級老的主節(jié)點(diǎn)
13.重新加入集群
聯(lián)系客服
