海量小文件前提下，針對存儲系統(tǒng)/文件系統(tǒng)的IOPS測試真的科學(xué)嗎？

海量小文件一般簡稱為LOSF(lots of samll file)，LOSF是存儲系統(tǒng)的業(yè)界難題。通常認為大小在1KB~10MB的文件稱為小文件，百萬級數(shù)量及以上稱為海量文件，由此量化定義海量小文件。

基于SAN的傳統(tǒng)文件系統(tǒng)如Ext4、XFS、NTFS以及NFS、CIFS等NAS存儲系統(tǒng)管理LOSF的性能和效率都比較低下，主要瓶頸集中在海量文件的元數(shù)據(jù)管理、存儲介質(zhì)的性能限制兩個方面。近年來隨著閃存技術(shù)和分布式文件系統(tǒng)的發(fā)展，存儲介質(zhì)性能限制逐漸消失，但海量文件的元數(shù)據(jù)管理仍然制約著文件系統(tǒng)和存儲系統(tǒng)的性能。

對于LOSF問題而言，業(yè)界多主張以IOPS/OPS作為性能衡量指標，這是一種誤區(qū)：標準化測試情形下，IOPS/OPS只能衡量隨機索引4K或者其它大小數(shù)據(jù)塊訪問的效率，忽略了針對在海量文件元數(shù)據(jù)中索引文件效率的衡量。

在這里插入圖片描述
































所以，衡量一個文件系統(tǒng)在海量文件前提下的性能應(yīng)當(dāng)從業(yè)務(wù)本身特點出發(fā)，在標準文件大?。ㄈ鏟ACS影像文件典型大小為512KB左右）、預(yù)先鋪底海量文件的前提下，以單位時間內(nèi)能夠處理的文件個數(shù)為尺度來衡量。