- 已加入
- 9/12/11
- 訊息
- 1,182
- 互動分數
- 1
- 點數
- 38
全球FMS快閃記憶體會議上，LSI公司市場總監、Flash部門高級總監Kent Smith做了“不要讓你喜歡的測試軟體欺騙你”的演講，談到了目前SSD基準測試軟體所面臨的問題。
HDD機械硬碟幾乎沒什麼隨機性能，所以測試時跑幾個讀寫速度測試就算完了，但是SSD固態硬碟的情況複雜的多，讀寫過程不一樣，隨機性能也不一樣，主控、NAND類型及OP空間的不同導致性能差異很大，而越用越慢的特性也讓初始性能和日常使用性能涇渭分明。
我們常用的SSD測試軟體包括CDM、AS SSD、ATTO、Anvil、IOMeter，還有考驗綜合性能的PCMark系列，這些軟體各有各的特色和優點，但是有沒有想過這些軟體測出的性能其實並不一定準呢？
在本月中旬的全球FMS快閃記憶體會議上，已把SandForce納入旗下的LSI公司市場總監、Flash部門高級總監Kent Smith做了“不要讓你喜歡的測試軟體欺騙你”的演講，談到了目前SSD基準測試軟體所面臨的問題，來看下PCWatch網站的報導。
Smith先生首先說到，性能測試面臨的問題可分為兩部分，一個是性能測試自己的，一個是用戶自己運行測試的。第一個，工廠裡的測試是人為模擬的，因為現實中每個使用者的使用情況都是不同的，電子產品測試和現實測試是不一樣的，這在業界是常識，並僅僅局限於存儲產品。使用者需要知道，基準測試不一定能反應真實性能。
他指出，進行SSD測試之前，首先要做的是預調（preconditioning），SSD發貨之後的性能取決於它的寫入歷史，因此測試前需要將SSD恢復到初始狀態，如果不進行這個過程，那麼SSD測試得出的結果可能就不合理。
目前的SSD測試所存在的問題
這裡列舉的是一些SSD測試存在的問題：理論測試與現實脫節、更關注孤立情況、通常使用最壞資料熵的情況下的例子、混淆了MiB/s和MB/s單位、沒有將SSD置於已使用狀態，其他操作上的錯誤還有：沒有手動預調SSD或者調錯了、錯誤理解資料熵之類的結果，此外還缺少其他相關資料的測試，比如每GB資料寫入的功耗、電池續航、寫入放大、前臺vs後臺垃圾回收等。
真實情況介於100%讀和100%寫入之間
Smith特別強調，測試沒能真實反應實際性能的一大問題就是沒有考慮SSD四種性能（指的應該是讀、寫速度和讀、寫IOPS這四種）的比例問題。通常情況下，SSD在100%讀取時IOPS性能最高，在100%寫入時IOPS性能最低。現在的測試只反應SSD的讀取和寫入IOPS理論性能，但是缺少二者的比例。
他舉了一個例子，如果是95%讀取，5%寫入，這種情況下其性能應該接近測試測試得出的IOPS讀取性能，但實際情況下，那怕寫入IOPS只占5%，Smith展示的實際性能測試就從讀取IOPS的一半下降到了五分之一，損失了50-80%的性能。
就算寫入IOPS只占5%，SSD的實際性能也要損失50-80%
使用者存儲的資料也會影響SSD性能
SSD的特性大家也多少瞭解了，資料儲存的越多，SSD性能就越低。如果使用者連續儲存資料，那麼SSD的性能就會高一些，存儲的越隨機，SSD性能就越低。為了描述這個狀況，引入了資料熵（Data Entropy）這個概念，亂數據越多，熵越高，連續資料越多，熵越低。
除了用戶的使用習慣之外，不同的測試軟體對資料熵的側重也不一樣，典型例子就是IOMeter 2006和IOmeter 2008，前者是高熵值的，後者是低熵值的，因此同樣的SSD上，用IOmeter 2008測試會顯得性能更高一些。
資料熵的影響
不同軟體的資料熵不同
一旦開始使用SSD，性能急劇下降
前面已經提到了SSD預調的重要性，因為SSD的性能與寫入歷史有莫大關係。詳細來說，FOB（Fresh Of Box，剛拆封的狀態）狀態下的SSD性能最高，然後隨著使用其性能快速下降，這個階段叫做轉換階段（Transition State），繼續使用之後SSD的性能會固定下來，這個階段叫做穩定階段（Steady State）。
基準性能測試中達到穩定狀態很重要，也是可能的，只要對SSD全盤寫入幾次就可以了。（大約兩三次即可）
這裡的關鍵就是需要多少時間才能達到穩定狀態。Smith展示了用IOMeter的4K隨機寫入在一塊256GB的SSD上做的測試，大約需要3個小時進入了穩定狀態。測試顯示，此時的性能相比FOB狀態台下大約下降了10%，FOB時的速度是275MB/s，穩定狀態下下降到了了25MB/s。這就是沒有預調的後果，性能相差10倍。
三個小時候SSD差不多到了穩定狀態
連續性能下降了25%，隨機性能減少了91%
目前的測試軟體的偏差
有了上面的基礎之後，我們可以看下不同的測試軟體在穩定狀態下的性能偏差吧。
測試環境
ATTO偏差，連續性能基本不受影響，除了4K小資料
CDM偏差，隨機寫入下降54%，連續讀取不變
Anvil軟體偏差，隨機寫入下滑85%
PCmark Vantage的app載入性能下降74%
總結：資料熵、預調對SSD影響很大
從Smith的報告來看，資料熵、預調對SSD的性能影響非常，不同使用習慣、不同狀態的SSD性能差異極大。
預調的正確方法
資料來源
HDD機械硬碟幾乎沒什麼隨機性能，所以測試時跑幾個讀寫速度測試就算完了，但是SSD固態硬碟的情況複雜的多，讀寫過程不一樣，隨機性能也不一樣，主控、NAND類型及OP空間的不同導致性能差異很大，而越用越慢的特性也讓初始性能和日常使用性能涇渭分明。
我們常用的SSD測試軟體包括CDM、AS SSD、ATTO、Anvil、IOMeter，還有考驗綜合性能的PCMark系列，這些軟體各有各的特色和優點，但是有沒有想過這些軟體測出的性能其實並不一定準呢？
Smith先生首先說到，性能測試面臨的問題可分為兩部分，一個是性能測試自己的，一個是用戶自己運行測試的。第一個，工廠裡的測試是人為模擬的，因為現實中每個使用者的使用情況都是不同的，電子產品測試和現實測試是不一樣的，這在業界是常識，並僅僅局限於存儲產品。使用者需要知道，基準測試不一定能反應真實性能。
他指出，進行SSD測試之前，首先要做的是預調（preconditioning），SSD發貨之後的性能取決於它的寫入歷史，因此測試前需要將SSD恢復到初始狀態，如果不進行這個過程，那麼SSD測試得出的結果可能就不合理。
目前的SSD測試所存在的問題
這裡列舉的是一些SSD測試存在的問題：理論測試與現實脫節、更關注孤立情況、通常使用最壞資料熵的情況下的例子、混淆了MiB/s和MB/s單位、沒有將SSD置於已使用狀態，其他操作上的錯誤還有：沒有手動預調SSD或者調錯了、錯誤理解資料熵之類的結果，此外還缺少其他相關資料的測試，比如每GB資料寫入的功耗、電池續航、寫入放大、前臺vs後臺垃圾回收等。
真實情況介於100%讀和100%寫入之間
Smith特別強調，測試沒能真實反應實際性能的一大問題就是沒有考慮SSD四種性能（指的應該是讀、寫速度和讀、寫IOPS這四種）的比例問題。通常情況下，SSD在100%讀取時IOPS性能最高，在100%寫入時IOPS性能最低。現在的測試只反應SSD的讀取和寫入IOPS理論性能，但是缺少二者的比例。
他舉了一個例子，如果是95%讀取，5%寫入，這種情況下其性能應該接近測試測試得出的IOPS讀取性能，但實際情況下，那怕寫入IOPS只占5%，Smith展示的實際性能測試就從讀取IOPS的一半下降到了五分之一，損失了50-80%的性能。
就算寫入IOPS只占5%，SSD的實際性能也要損失50-80%
使用者存儲的資料也會影響SSD性能
SSD的特性大家也多少瞭解了，資料儲存的越多，SSD性能就越低。如果使用者連續儲存資料，那麼SSD的性能就會高一些，存儲的越隨機，SSD性能就越低。為了描述這個狀況，引入了資料熵（Data Entropy）這個概念，亂數據越多，熵越高，連續資料越多，熵越低。
除了用戶的使用習慣之外，不同的測試軟體對資料熵的側重也不一樣，典型例子就是IOMeter 2006和IOmeter 2008，前者是高熵值的，後者是低熵值的，因此同樣的SSD上，用IOmeter 2008測試會顯得性能更高一些。
資料熵的影響
不同軟體的資料熵不同
一旦開始使用SSD，性能急劇下降
前面已經提到了SSD預調的重要性，因為SSD的性能與寫入歷史有莫大關係。詳細來說，FOB（Fresh Of Box，剛拆封的狀態）狀態下的SSD性能最高，然後隨著使用其性能快速下降，這個階段叫做轉換階段（Transition State），繼續使用之後SSD的性能會固定下來，這個階段叫做穩定階段（Steady State）。
基準性能測試中達到穩定狀態很重要，也是可能的，只要對SSD全盤寫入幾次就可以了。（大約兩三次即可）
這裡的關鍵就是需要多少時間才能達到穩定狀態。Smith展示了用IOMeter的4K隨機寫入在一塊256GB的SSD上做的測試，大約需要3個小時進入了穩定狀態。測試顯示，此時的性能相比FOB狀態台下大約下降了10%，FOB時的速度是275MB/s，穩定狀態下下降到了了25MB/s。這就是沒有預調的後果，性能相差10倍。
三個小時候SSD差不多到了穩定狀態
連續性能下降了25%，隨機性能減少了91%
目前的測試軟體的偏差
有了上面的基礎之後，我們可以看下不同的測試軟體在穩定狀態下的性能偏差吧。
測試環境
AS SSD的偏差，連續寫入下降22-92%，連續讀取下降0-69%，隨機寫入下降81%
ATTO偏差，連續性能基本不受影響，除了4K小資料
CDM偏差，隨機寫入下降54%，連續讀取不變
Anvil軟體偏差，隨機寫入下滑85%
PCmark Vantage的app載入性能下降74%
總結：資料熵、預調對SSD影響很大
從Smith的報告來看，資料熵、預調對SSD的性能影響非常，不同使用習慣、不同狀態的SSD性能差異極大。
預調的正確方法
資料來源
最後編輯：
