We are in the process of migrating this forum. A new space will be available soon. We are sorry for the inconvenience.

SYS-E32-4 HardRaid


zomar
14-04-2014, 20:54
Witam,

Mam serwer SYS-E32-3 z postawionym FreeBSD 9.2. W OS widać RAID jako LSI SAS2004. Nie bardzo mogę znaleźć soft na FreeBSD dla tego kontrolera.

Do tej pory wiele razy ćwiczyłem na serwerze NS w OVH awarie jednego z dysków działających w GMIRROR, z pełnym sukcesem.
A, że za często padały taśmy SATA i same dysko to postanowiłem przetestować RAID sprzętowy.

I pojawił się problem, że nie potrafię znaleźć sposobu jak kontrolować status RAID.

Czy administratorzy mają monitoring stanu RAID?

Pozdrawiam
Zomar

mikel
31-03-2014, 16:04
Ok, dzięki za info, czyli niestety część maszyn z tej samej serii jest lepsza a część gorsza.

borec
31-03-2014, 12:03
Dobrze Cię zrozumiałem, ten kontroler po prostu nie ma swojego cache (przynajmniej z tego co udało mi się*dowiedzieć).

mikel
30-03-2014, 20:50
Cytat Napisał borec
Na tych kontrolerach możesz włączyć cache poprzez sdparm:
Kod:
# sprawdzenie:
sdparm -g WCE /dev/sg[012]
# włączenie:
sdparm -s WCE=1 /dev/sgX
Hm ... w przypadku lsiutil włączyłem cache na kontrolerze (lsiutil -> 21 -> 32 -> Yes). Czy to co sugerujesz nie jest włączeniem cache na dyskach ? Bo z tego co spróbowałem współpracuje jedynie z dyskami (sg1,sg2) a w przypadku podania kontrolera (sg0) są problemy:

Kod:
# sdparm -g WCE /dev/sg1
    /dev/sg1: ATA       TOSHIBA DT01ACA2  ABB0
WCE         0  [cha: y]
# sdparm -g WCE /dev/sg2
    /dev/sg2: ATA       TOSHIBA DT01ACA2  ABB0
WCE         0  [cha: y]
# sdparm -g WCE /dev/sg0
    /dev/sg0: LSI       Logical Volume    3000
10 byte MODE SENSE cdb not supported, try again with '-6' option
# sdparm -6 -g WCE /dev/sg0
    /dev/sg0: LSI       Logical Volume    3000
WCE error (try adding '-vv') in Caching (SBC) mode page
# sdparm -6 -vv -g WCE /dev/sg0
mp_settings: page,subpage=0x8,0x0  num=1
  [0x8,0x0]  pdt=0 start_byte=0x2 start_bit=2 num_bits=1  val=0  acronym: WCE
>>> about to open device name: /dev/sg0
    inquiry cdb: 12 00 00 00 24 00
    /dev/sg0: LSI       Logical Volume    3000
    mode sense (6) cdb: 1a 00 08 00 08 00
sg_get_mode_page_controls: given response length too small, offset=12 given_len=8 bd_len=8

WCE error in Caching (SBC) mode page
Wolałbym jednak zrobić to na takich maszynach z innym kontrolerem w ten sam sposób (tzn. włączyć cache na kontrolerze) chyba, że radzisz zastąpić to cache na dyskach z jakiś względów lub z braku możliwości włączenia go na tym kontrolerze:

LSI Logic / Symbios Logic SAS2004 PCI-Express Fusion-MPT SAS-2 [Spitfire] (rev 03)

Edit: patrząc na poprzedniego mojego posta mogłeś mnie właśnie źle zrozumieć, że włączyłem cache na dyskach a chodziło o to, że włączyłem cache na kontrolerze poprzez lsiutil ale na innej maszynie jest ten inny kontroler, którego lsiutil nie obsługuje.

borec
30-03-2014, 20:15
Na tych kontrolerach możesz włączyć cache poprzez sdparm:
Kod:
# sprawdzenie:
sdparm -g WCE /dev/sg[012]
# włączenie:
sdparm -s WCE=1 /dev/sgX

mikel
30-03-2014, 19:37
Jakimś cudem zadanie pytania na forum popchnęło mnie w dalej analizie, która wcześniej poprzez optymalizację VM skończyła się fiaskiem. Problemem był wyłączony domyślnie write cache na raidzie. O ile na dyskach, które obsługują lsiutil włączyłem write cache i jest teraz OK to jest problem z dyskami, których nie obsługuje lsiutil bo program sas2ircu (chyba) nie umożliwia modyfikacji ani podejrzenia takiego ustawienia...wracam do analizy, tekst się może komuś w przyszłości przyda ale mile widziana sugestia jeżeli ktoś zna co z takim raidem nie obsługiwanym przez lsiutil zrobić.

mikel
30-03-2014, 17:51
Wspomnę, że problem zapewne leży nie w samym VM, tylko konfiguracji systemu z ovh pod proxmox albo hardware raid / dysków jaki dostaje się po instalacji bo bardzo niski jest parametr FSYNCS/SECOND (i to dotyczy każdej takiej maszyny z tej serii):

pveperf
CPU BOGOMIPS: 54399.04
REGEX/SECOND: 1450698
HD SIZE: 19.38 GB (/dev/sda2)
BUFFERED READS: 162.22 MB/sec
AVERAGE SEEK TIME: 15.10 ms
FSYNCS/SECOND: 20.93
DNS EXT: 33.99 ms
DNS INT: 38.17 ms

Na razie szukam dalej co można z tym zrobić bo normalnie "FSYNCS/SECOND" powinno mieć wartość przynajmniej ze 100 lub więcej patrząc na wyniki testów i wątki na forum proxmoxa. Jakby komuś zapaliła się tu lampka jak to naprawić byłbym wdzięczny.

mikel
30-03-2014, 16:46
Może trochę zejdę z tematu ale w sumie dotyczy SYS i dysków. Czy da się jakoś te dyski (na E32-3) 'przyspieszyć' ? Mam proxmox -> vm na nich i te dyski generują spore io. Konfiguracja VM jest sprawdzona po prostu migrowałem je na te maszyny i np. z dużym prawdopodobieństwem nie daje się zainstalować najnowszej prestashop bo dysk nie wyrabia w czasie (tworzy około 230 tabel i to w innodb). Wiem, że dyski ssd są o wiele szybsze bo z takich głównie korzystałem. Ale ten sam program instalacyjny presta na tym samym vm na E32-3 (dyski sata) tworzy te 230 tabel w kilka minut a na E32-4 w kilka sekund. Wydaje mi się, że mimo wszystko musi być jakiś inny problem niż tylko sam typ dysku. MySQL jest podkręcone zarówno jeżeli chodzi o innodb jak i myisam ale akurat tutaj nawet przełączenie na myisam nic nie pomogło najwidoczniej te 230 tabel czyli 230 albo i więcej plików do stworzenia jest problemem ale czy nie do rozwiązania ?

borec
30-03-2014, 16:16
Nie robiłem takich testów, ale z tego co zauważyłem, RAID1 jest minimalnie wolniejszy od pojedynczego dysku, różnica rzędu kilku procent. W porównaniu z soft raidem pewnie będzie podobnie.

kkkonrad
30-03-2014, 15:10
dzięki wielkie za odpowiedź, a jak jest z wydajnością takiego raida 1 w porównaniu z soft raid 1 - chodzi mi o normalne dyski a nie ssd - czy obciążenie IO jest dużo niższe czy może przy najnowszych prockach ta rożnica jest minimalna?

borec
30-03-2014, 11:13
Nie, przy hardware raid wymiana jest przezroczysta dla systemu, możesz sobie ewentualnie podglądać*postęp odbudowy w sas2ircu.

kkkonrad
29-03-2014, 19:40
czyli nic nie musze robic? bo w soft raid kilka komend trzeba bylo wklepać

borec
29-03-2014, 18:53
Z wymianą nie ma cudów, zgłaszasz, wymieniają dysk, raid się odbudowuje. A co do samego kontrolera to całkiem przyzwoity.

kkkonrad
29-03-2014, 16:31
udało się, prawdopodobnie to chip na płycie, a nie osobny kontroler RAID (co za tą cenę się można spodziewać)
dla potomnych:
dyski są pod /dev/sg1 i /dev/sg2, można je sprawdzać za pomocą smartcrl
smartctl -a /dev/sg1
smartctl -a /dev/sg2
a do zarządzania raidem służy sas2ircu do pobrania stąd:
teraz jeszcze szukam instrukcji wymiany jednego z dysków w razie awari, pomoże ktoś?

kkkonrad
28-03-2014, 22:44
Wpakowałem się ten dziwny serwer z LSI Logic / Symbios Logic SAS2004 PCI-Express Fusion-MPT SAS-2 [Spitfire]
i teraz nawet nie wiem jak wylistować dane SMART podpiętych dysków, ktoś pomoże ??