一，常規(guī)數(shù)據(jù)庫連接
常規(guī)數(shù)據(jù)庫連接一般由以下六個(gè)步驟構(gòu)成：
裝載數(shù)據(jù)庫驅(qū)動(dòng)程序；
建立數(shù)據(jù)庫連接；
創(chuàng)建數(shù)據(jù)庫操作對(duì)象
訪問數(shù)據(jù)庫，執(zhí)行sql語句；
處理返回結(jié)果集
斷開數(shù)據(jù)庫連接。
public class TestMysqlConn {
public static void main(String[] args) {
Connection con;
Statement stmt;
ResultSet rs;
try {
//1，裝載數(shù)據(jù)庫驅(qū)動(dòng)程序
Class.forName('com.mysql.jdbc.Driver').newInstance();
//2，建立數(shù)據(jù)庫連接
con = DriverManager.getConnection('jdbc:mysql://3xmq.com:3306/test','root','root');
//3，創(chuàng)建數(shù)據(jù)庫操作對(duì)象
stmt = con.createStatement();
//4，執(zhí)行sql語句
rs = stmt.executeQuery('select * from _test');
//5，處理返回結(jié)果集
while(rs.next()){
int num = rs.getInt('id');
String name = rs.getString('name');
String des = rs.getString('description');
System.out.println(num + ' ' + name + ' ' + des);
}
//6，斷開數(shù)據(jù)庫連接
stmt.close();
conn.close();
} catch (Exception e) {
e.printStackTrace();
System.out.println('連接失敗');
}
}
}
二，常規(guī)數(shù)據(jù)庫連接底層原理
數(shù)據(jù)庫本身實(shí)際上就是一個(gè)Server端程序在跑，我們開發(fā)的程序連接數(shù)據(jù)庫，相當(dāng)于啟動(dòng)了一個(gè)Client端，連接到Server端，也就是C/S模式！那么數(shù)據(jù)庫連接本質(zhì)上是基于什么協(xié)議呢？以mysql連接為例，常見兩種連接場(chǎng)景命令如下：
1，mysql -h localhost -uroot -p（本地模式）
2，mysql -h 127.0.0.1 -uroot -p（IP模式）
對(duì)場(chǎng)景一，使用tcpdump抓包如下：
可以看到并沒有抓到網(wǎng)絡(luò)請(qǐng)求數(shù)據(jù)，說明它走的是本地socket協(xié)議，unix domain socket。
對(duì)場(chǎng)景二，使用tcpdump進(jìn)行抓包如下：
可以看到，mysql的連接過程，內(nèi)部實(shí)際上是經(jīng)過tcp/ip協(xié)議的，mysql上層基于tcp/ip協(xié)議封裝了自己的一套消息協(xié)議！說白了，底層是基于tcp/ip socket 協(xié)議！
在mysql中使用命令：show status，可以看到mysql實(shí)際上會(huì)創(chuàng)建一個(gè)線程來處理客戶端連接上來的連接！如下圖：
Threads_connected連接數(shù)是1，mysql此時(shí)有一個(gè)連接！
Threads_created為3，說明曾經(jīng)有3個(gè)connection連接過數(shù)據(jù)庫！
Threads_cached為2，mysql內(nèi)部的線程連接池,將空閑的連接不是立即銷毀而是放到線程連接池中，如果新加進(jìn)來連接不是立刻創(chuàng)建線程而是先從線程連接池中找到空閑的連接線程，然后分配，如果沒有才創(chuàng)建新的線程?？梢妋ysql內(nèi)部已經(jīng)為我們做優(yōu)化了。
Threads_running為1，當(dāng)前活躍線程數(shù)為1。
小提示：
1，Threads_catched值不是無限大的，一般為32左右。 mysql是可以調(diào)整單線程和多線程模式的，單線程只允許一個(gè)線程連接mysql，其他連接將會(huì)被拒絕。
2，數(shù)據(jù)庫本地unix domain socket連接快于tcp/ip連接
三，常規(guī)數(shù)據(jù)庫連接優(yōu)化空間
以mysql為例，要做優(yōu)化，首先要尋找數(shù)據(jù)庫連接占用的資源有哪些？
1，mysql每個(gè)連接是會(huì)創(chuàng)建一個(gè)線程的，可以登錄mysql輸入show status查看Threads_connected和Threads_created的大小，那么我們每連接一次mysql就會(huì)創(chuàng)建一個(gè)線程，每次斷開又會(huì)銷毀一個(gè)線程。
數(shù)據(jù)庫連接的創(chuàng)建和銷毀本質(zhì)就是線程的創(chuàng)建和銷毀，而創(chuàng)建線程和銷毀線程的資源消耗是非常大的。系統(tǒng)為每個(gè)線程分配?？臻g，可以通過ulimis -s來查看，ubuntu 14.04默認(rèn)是8M，那么100個(gè)連接就是800M，很吃內(nèi)存的。其次mysql數(shù)據(jù)庫會(huì)為每個(gè)連接分配連接緩沖區(qū)和結(jié)果緩沖區(qū)，也是要消耗時(shí)間的。
2，mysql的每次連接，都會(huì)進(jìn)行tcp3次握手和斷開時(shí)的4次揮手，分配一些緩存空間，也會(huì)消耗一定的時(shí)間。
如下圖：
數(shù)據(jù)庫連接池有效的避免了上述的問題，數(shù)據(jù)庫連接池技術(shù)的思想非常簡(jiǎn)單，將數(shù)據(jù)庫連接作為對(duì)象存儲(chǔ)在一個(gè)Vector對(duì)象中，一旦數(shù)據(jù)庫連接建立后，不同的數(shù)據(jù)庫訪問請(qǐng)求就可以共享這些連接，這樣，通過復(fù)用這些已經(jīng)建立的數(shù)據(jù)庫連接，可以克服上述缺點(diǎn)，極大地節(jié)省系統(tǒng)資源和時(shí)間。
也就是我們提前創(chuàng)建好這些連接，然后需要用去取連接即可。和線程池的思想是一致的。
四，數(shù)據(jù)庫連接池
數(shù)據(jù)庫連接池（Connection pooling）是程序啟動(dòng)時(shí)建立足夠的數(shù)據(jù)庫連接，并將這些連接組成一個(gè)連接池，由程序動(dòng)態(tài)地對(duì)池中的連接進(jìn)行申請(qǐng)，使用，釋放。創(chuàng)建數(shù)據(jù)庫連接是一個(gè)很耗時(shí)的操作，也容易對(duì)數(shù)據(jù)庫造成安全隱患。所以，在程序初始化的時(shí)候，集中創(chuàng)建多個(gè)數(shù)據(jù)庫連接，并把他們集中管理，供程序使用，可以保證較快的數(shù)據(jù)庫讀寫速度，還更加安全可靠。
連接池基本的思想是在系統(tǒng)初始化的時(shí)候，將數(shù)據(jù)庫連接作為對(duì)象存儲(chǔ)在內(nèi)存中，當(dāng)用戶需要訪問數(shù)據(jù)庫時(shí)，并非建立一個(gè)新的連接，而是從連接池中取出一個(gè)已建立的空閑連接對(duì)象。使用完畢后，用戶也并非將連接關(guān)閉，而是將連接放回連接池中，以供下一個(gè)請(qǐng)求訪問使用。而連接的建立、斷開都由連接池自身來管理。同時(shí)，還可以通過設(shè)置連接池的參數(shù)來控制連接池中的初始連接數(shù)、連接的上下限數(shù)以及每個(gè)連接的最大使用次數(shù)、最大空閑時(shí)間等等，也可以通過其自身的管理機(jī)制來監(jiān)視數(shù)據(jù)庫連接的數(shù)量、使用情況等。如下圖：
數(shù)據(jù)庫連接池機(jī)制：
（1）建立數(shù)據(jù)庫連接池對(duì)象（服務(wù)器啟動(dòng)）。
（2）按照事先指定的參數(shù)創(chuàng)建初始數(shù)量的數(shù)據(jù)庫連接（即：空閑連接數(shù)）。
（3）對(duì)于一個(gè)數(shù)據(jù)庫訪問請(qǐng)求，直接從連接池中得到一個(gè)連接。如果數(shù)據(jù)庫連接池對(duì)象中沒有空閑的連接，且連接數(shù)沒有達(dá)到最大（即：最大活躍連接數(shù)），創(chuàng)建一個(gè)新的數(shù)據(jù)庫連接。
（4）存取數(shù)據(jù)庫。
（5）關(guān)閉數(shù)據(jù)庫，釋放所有數(shù)據(jù)庫連接（此時(shí)的關(guān)閉數(shù)據(jù)庫連接，并非真正關(guān)閉，而是將其放入空閑隊(duì)列中。如實(shí)際空閑連接數(shù)大于初始空閑連接數(shù)則釋放連接）。
（6）釋放數(shù)據(jù)庫連接池對(duì)象（服務(wù)器停止、維護(hù)期間，釋放數(shù)據(jù)庫連接池對(duì)象，并釋放所有連接）。
數(shù)據(jù)庫連接池在初始化時(shí)，按照連接池最小連接數(shù)，創(chuàng)建相應(yīng)數(shù)量連接放入池中，無論是否被使用。當(dāng)連接請(qǐng)求數(shù)大于最大連接數(shù)閥值時(shí)，會(huì)加入到等待隊(duì)列！
數(shù)據(jù)庫連接池的最小連接數(shù)和最大連接數(shù)的設(shè)置要考慮到以下幾個(gè)因素:
最小連接數(shù):是連接池一直保持的數(shù)據(jù)庫連接,所以如果應(yīng)用程序?qū)?shù)據(jù)庫連接的使用量不大,將會(huì)有大量的數(shù)據(jù)庫連接資源被浪費(fèi).
最大連接數(shù):是連接池能申請(qǐng)的最大連接數(shù),如果數(shù)據(jù)庫連接請(qǐng)求超過次數(shù),后面的數(shù)據(jù)庫連接請(qǐng)求將被加入到等待隊(duì)列中,這會(huì)影響以后的數(shù)據(jù)庫操作
如果最小連接數(shù)與最大連接數(shù)相差很大:那么最先連接請(qǐng)求將會(huì)獲利,之后超過最小連接數(shù)量的連接請(qǐng)求等價(jià)于建立一個(gè)新的數(shù)據(jù)庫連接.不過,這些大于最小連接數(shù)的數(shù)據(jù)庫連接在使用完不會(huì)馬上被釋放,他將被放到連接池中等待重復(fù)使用或是空間超時(shí)后被釋放.
五，常見數(shù)據(jù)庫連接池
在Java中開源的常用的數(shù)據(jù)庫連接池有以下幾種 ：
1）DBCP
DBCP是一個(gè)依賴Jakarta commons-pool對(duì)象池機(jī)制的數(shù)據(jù)庫連接池.DBCP可以直接的在應(yīng)用程序中使用，Tomcat的數(shù)據(jù)源使用的就是DBCP。
2）c3p0
c3p0是一個(gè)開放源代碼的JDBC連接池，它在lib目錄中與Hibernate一起發(fā)布,包括了實(shí)現(xiàn)jdbc3和jdbc2擴(kuò)展規(guī)范說明的Connection 和Statement 池的DataSources 對(duì)象。
3）Druid
阿里出品，淘寶和支付寶專用數(shù)據(jù)庫連接池，但它不僅僅是一個(gè)數(shù)據(jù)庫連接池，它還包含一個(gè)ProxyDriver，一系列內(nèi)置的JDBC組件庫，一個(gè)SQL Parser。支持所有JDBC兼容的數(shù)據(jù)庫，包括Oracle、MySql、Derby、Postgresql、SQL Server、H2等等。
Druid針對(duì)Oracle和MySql做了特別優(yōu)化，比如Oracle的PS Cache內(nèi)存占用優(yōu)化，MySql的ping檢測(cè)優(yōu)化。
Druid提供了MySql、Oracle、Postgresql、SQL-92的SQL的完整支持，這是一個(gè)手寫的高性能SQL Parser，支持Visitor模式，使得分析SQL的抽象語法樹很方便。
簡(jiǎn)單SQL語句用時(shí)10微秒以內(nèi)，復(fù)雜SQL用時(shí)30微秒。
通過Druid提供的SQL Parser可以在JDBC層攔截SQL做相應(yīng)處理，比如說分庫分表、審計(jì)等。Druid防御SQL注入攻擊的WallFilter就是通過Druid的SQL Parser分析語義實(shí)現(xiàn)的。
六，數(shù)據(jù)庫連接池配置
連接池配置大體可以分為基本配置、關(guān)鍵配置、性能配置等主要配置。
6.1 基本配置
基本配置是指連接池進(jìn)行數(shù)據(jù)庫連接的四個(gè)基本必需配置：
傳遞給JDBC驅(qū)動(dòng)的用于連接數(shù)據(jù)庫的用戶名、密碼、URL以及驅(qū)動(dòng)類名。
DBCP
c3p0
Druid
用戶名
username
user
username
密碼
password
password
password
URL
url
jdbcUrl
jdbcUrl
驅(qū)動(dòng)類名
driverClassName
driverClass
driverClassName
注:在Druid連接池的配置中，driverClassName可配可不配，如果不配置會(huì)根據(jù)url自動(dòng)識(shí)別dbType(數(shù)據(jù)庫類型)，然后選擇相應(yīng)的driverClassName。
6.2 關(guān)鍵配置
為了發(fā)揮數(shù)據(jù)庫連接池的作用，在初始化時(shí)將創(chuàng)建一定數(shù)量的數(shù)據(jù)庫連接放到連接池中，這些數(shù)據(jù)庫連接的數(shù)量是由最小數(shù)據(jù)庫連接數(shù)來設(shè)定的。無論這些數(shù)據(jù)庫連接是否被使用，連接池都將一直保證至少擁有這么多的連接數(shù)量。連接池的最大數(shù)據(jù)庫連接數(shù)量限定了這個(gè)連接池能占有的最大連接數(shù)，當(dāng)應(yīng)用程序向連接池請(qǐng)求的連接數(shù)超過最大連接數(shù)量時(shí)，這些請(qǐng)求將被加入到等待隊(duì)列中。
最小連接數(shù):
是數(shù)據(jù)庫一直保持的數(shù)據(jù)庫連接數(shù)，所以如果應(yīng)用程序?qū)?shù)據(jù)庫連接的使用量不大，將有大量的數(shù)據(jù)庫資源被浪費(fèi)。
初始化連接數(shù)：
連接池啟動(dòng)時(shí)創(chuàng)建的初始化數(shù)據(jù)庫連接數(shù)量。
最大連接數(shù)：
是連接池能申請(qǐng)的最大連接數(shù)，如果數(shù)據(jù)庫連接請(qǐng)求超過此數(shù)，后面的數(shù)據(jù)庫連接請(qǐng)求被加入到等待隊(duì)列中。
最大等待時(shí)間：
當(dāng)沒有可用連接時(shí)，連接池等待連接被歸還的最大時(shí)間，超過時(shí)間則拋出異常，可設(shè)置參數(shù)為0或者負(fù)數(shù)使得無限等待(根據(jù)不同連接池配置)。
DBCP
c3p0
Druid
最小連接數(shù)
minIdle(0)
minPoolSize(3)
minIdle(0)
初始化連接數(shù)
initialSize(0)
initialPoolSize(3)
initialSize(0)
最大連接數(shù)
maxTotal(8)
maxPoolSize(15)
maxActive(8)
最大等待時(shí)間
maxWaitMillis(毫秒)
maxIdleTime(0秒)
maxWait(毫秒)
注1:在DBCP連接池的配置中，還有一個(gè)maxIdle的屬性，表示最大空閑連接數(shù)，超過的空閑連接將被釋放，默認(rèn)值為8。對(duì)應(yīng)的該屬性在Druid連接池已不再使用，配置了也沒有效果，c3p0連接池則沒有對(duì)應(yīng)的屬性。
注2：數(shù)據(jù)庫連接池在初始化的時(shí)候會(huì)創(chuàng)建initialSize個(gè)連接，當(dāng)有數(shù)據(jù)庫操作時(shí)，會(huì)從池中取出一個(gè)連接。如果當(dāng)前池中正在使用的連接數(shù)等于maxActive，則會(huì)等待一段時(shí)間，等待其他操作釋放掉某一個(gè)連接，如果這個(gè)等待時(shí)間超過了maxWait，則會(huì)報(bào)錯(cuò)；如果當(dāng)前正在使用的連接數(shù)沒有達(dá)到maxActive，則判斷當(dāng)前是否空閑連接，如果有則直接使用空閑連接，如果沒有則新建立一個(gè)連接。在連接使用完畢后，不是將其物理連接關(guān)閉，而是將其放入池中等待其他操作復(fù)用。
6.3 性能配置
預(yù)緩存設(shè)置:
即是PSCache，PSCache對(duì)支持游標(biāo)的數(shù)據(jù)庫性能提升巨大，比如說oracle。JDBC的標(biāo)準(zhǔn)參數(shù)，用以控制數(shù)據(jù)源內(nèi)加載的PreparedStatements數(shù)量。但由于預(yù)緩存的statements屬于單個(gè)connection而不是整個(gè)連接池，所以設(shè)置這個(gè)參數(shù)需要考慮到多方面的因素。
單個(gè)連接擁有的最大緩存數(shù)：要啟用PSCache，必須配置大于0，當(dāng)大于0時(shí)，poolPreparedStatements自動(dòng)觸發(fā)修改為true。在Druid中，不會(huì)存在Oracle下PSCache占用內(nèi)存過多的問題，可以把這個(gè)數(shù)值配置大一些，比如說100
連接有效性檢測(cè)設(shè)置:
連接池內(nèi)部有機(jī)制判斷，如果當(dāng)前的總的連接數(shù)少于miniIdle，則會(huì)建立新的空閑連接，以保證連接數(shù)得到miniIdle。如果當(dāng)前連接池中某個(gè)連接在空閑了timeBetweenEvictionRunsMillis時(shí)間后任然沒有使用，則被物理性的關(guān)閉掉。有些數(shù)據(jù)庫連接的時(shí)候有超時(shí)限制（mysql連接在8小時(shí)后斷開），或者由于網(wǎng)絡(luò)中斷等原因，連接池的連接會(huì)出現(xiàn)失效的情況，這時(shí)候設(shè)置一個(gè)testWhileIdle參數(shù)為true，可以保證連接池內(nèi)部定時(shí)檢測(cè)連接的可用性，不可用的連接會(huì)被拋棄或者重建，最大情況的保證從連接池中得到的Connection對(duì)象是可用的。當(dāng)然，為了保證絕對(duì)的可用性，你也可以使用testOnBorrow為true（即在獲取Connection對(duì)象時(shí)檢測(cè)其可用性），不過這樣會(huì)影響性能。
超時(shí)連接關(guān)閉設(shè)置:
removeAbandoned參數(shù)，用來檢測(cè)到當(dāng)前使用的連接是否發(fā)生了連接泄露，所以在代碼內(nèi)部就假定如果一個(gè)連接建立連接的時(shí)間很長(zhǎng)，則將其認(rèn)定為泄露，繼而強(qiáng)制將其關(guān)閉掉。
END
推薦關(guān)注
架 構(gòu) 師 小 秘 圈
ID：seexmq
