傳統(tǒng)的UNIX實現(xiàn)在內(nèi)核中設有緩沖區(qū)高速緩存或頁面高速緩存,大多數(shù)磁盤I/O都通過緩沖進行。當將數(shù)據(jù)寫入文件時,內(nèi)核通常先將該數(shù)據(jù)復制到其中一個緩沖區(qū)中,如果該緩沖區(qū)尚未寫滿,則并不將其排入輸出隊列,而是等待其寫滿或者當內(nèi)核需要重用該緩沖區(qū)以便存放其他磁盤塊數(shù)據(jù)時,再將該緩沖排入輸出隊列,然后待其到達隊首時,才進行實際的I/O操作。這種輸出方式被稱為延遲寫(delayed write)(Bach [1986]第3章詳細討論了緩沖區(qū)高速緩存)。
延遲寫減少了磁盤讀寫次數(shù),但是卻降低了文件內(nèi)容的更新速度,使得欲寫到文件中的數(shù)據(jù)在一段時間內(nèi)并沒有寫到磁盤上。當系統(tǒng)發(fā)生故障時,這種延遲可能造成文件更新內(nèi)容的丟失。為了保證磁盤上實際文件系統(tǒng)與緩沖區(qū)高速緩存中內(nèi)容的一致性,UNIX系統(tǒng)提供了sync、fsync和fdatasync三個函數(shù)。
sync函數(shù)只是將所有修改過的塊緩沖區(qū)排入寫隊列,然后就返回,它并不等待實際寫磁盤操作結(jié)束。
通常稱為update的系統(tǒng)守護進程會周期性地(一般每隔30秒)調(diào)用sync函數(shù)。這就保證了定期沖洗內(nèi)核的塊緩沖區(qū)。命令sync(1)也調(diào)用sync函數(shù)。
fsync函數(shù)只對由文件描述符filedes指定的單一文件起作用,并且等待寫磁盤操作結(jié)束,然后返回。fsync可用于數(shù)據(jù)庫這樣的應用程序,這種應用程序需要確保將修改過的塊立即寫到磁盤上。
fdatasync函數(shù)類似于fsync,但它只影響文件的數(shù)據(jù)部分。而除數(shù)據(jù)外,fsync還會同步更新文件的屬性。
對于提供事務支持的數(shù)據(jù)庫,在事務提交時,都要確保事務日志(包含該事務所有的修改操作以及一個提交記錄)完全寫到硬盤上,才認定事務提交成功并返回給應用層。
一個簡單的問題:在*nix操作系統(tǒng)上,怎樣保證對文件的更新內(nèi)容成功持久化到硬盤?
1 #include <unistd.h>2 int fsync(int fd);
1 #incude <sys/mman.h>
2 int msync(void *addr, size_t length, int flags)
msync需要指定同步的地址區(qū)間,如此細粒度的控制似乎比fsync更加高效(因為應用程序通常知道自己的臟頁位置),但實際上(Linux)kernel中有著十分高效的數(shù)據(jù)結(jié)構(gòu),能夠很快地找出文件的臟頁,使得fsync只會同步文件的修改內(nèi)容。
"Unfortunately fsync() will always initialize two write operations : one for the newly written data and another one in order to update the modification time stored in the inode. If the modification time is not a part of the transaction concept fdatasync() can be used to avoid unnecessary inode disk write operations."
多余的一次IO操作,有多么昂貴呢?根據(jù)Wikipedia的數(shù)據(jù),當前硬盤驅(qū)動的平均尋道時間(Average seek time)大約是3~15ms,7200RPM硬盤的平均旋轉(zhuǎn)延遲(Average rotational latency)大約為4ms,因此一次IO操作的耗時大約為10ms左右。這個數(shù)字意味著什么?下文還會提到。
Posix同樣定義了fdatasync,放寬了同步的語義以提高性能:
1 #include <unistd.h>2 int fdatasync(int fd);
"fdatasync does not flush modified metadata unless that metadata is needed in order to allow a subsequent data retrieval to be corretly handled."
在Berkeley DB下,如果開啟了AUTO_COMMIT(所有獨立的寫操作自動具有事務語義)并使用默認的同步級別(日志完全同步到硬盤才返回),寫一條記錄的耗時大約為5~10ms級別,基本和一次IO操作(10ms)的耗時相同。
1.每個log文件固定為10MB大小,從1開始編號,名稱格式為“l(fā)og.%010d"2.每次log文件創(chuàng)建時,先寫文件的最后1個page,將log文件擴展為10MB大小3.向log文件中追加記錄時,由于文件的尺寸不發(fā)生變化,使用fdatasync可以大大優(yōu)化寫log的效率4.如果一個log文件寫滿了,則新建一個log文件,也只有一次同步metadata的開銷
聯(lián)系客服