OVH Community, your new community space.

Cache/bufor odczytu dysku w pamięci RAM


Joshua
23-10-2012, 09:10
Cytat Napisał desavil
Właśnie nie wiem czy to się w ogóle sprawdzi do mojego zastosowania.
Mam ok. 500GB plików (w /home) - różnej wielkości średnio 5MB, ale największy plik myślę, że nie przekracza 100MB.

Działa ok. 500 aplikacji która każda z nich pobiera jeden plik z dysku, przetwarza "w locie" i wysyła dalej na inny serwer i znów pobiera następny plik i dzieje się to samo.
Jeśli tylko nie masz 500GB RAMu by wrzucić wszystkie pliki do ramdysku - to nie kombinuj, system będzie cache'ował pliki lepiej niż Ty byś sobie ręcznie wykombinował.

desavil
23-10-2012, 08:49
Właśnie nie wiem czy to się w ogóle sprawdzi do mojego zastosowania.
Mam ok. 500GB plików (w /home) - różnej wielkości średnio 5MB, ale największy plik myślę, że nie przekracza 100MB.

Działa ok. 500 aplikacji która każda z nich pobiera jeden plik z dysku, przetwarza "w locie" i wysyła dalej na inny serwer i znów pobiera następny plik i dzieje się to samo. Mam dwa dyski SATA w RAID1, dlatego myślę czyby nie można było jakoś zrobić cache i wykorzystać do tego celu pamięć RAM która ma dużo wolnego miejsca i jest szybsza od dysku. Po stronie aplikacji niestety zrobić tego nie mogę, ale rozważam taką opcję i będzie to dopiero za jakiś czas, ale chciałbym w miarę możliwości teraz to jakoś zoptymalizować.

dzimi
23-10-2012, 07:44
Cytat Napisał redhot
Flashcache i RAM?
Coś Ci się z SSD pomyliło.
Nie. Flashcache + ramdysk (np. /dev/ram0). Flashcache w trybach Writearound lub Writethrough.
Ramdysk to urządzenie blokowe.

redhot
22-10-2012, 22:23
Flashcache i RAM?
Coś Ci się z SSD pomyliło.

dzimi
22-10-2012, 21:06
Zmigruj do zfs lub zainteresuj się facebook flashcache.

no4b
22-10-2012, 20:39
memcached?
tmpfs?

Linux sam cache'uje dane odczytane z dysku.

desavil
22-10-2012, 20:37
Znacie może jakiś program na linux dzięki któremu mógłbym zrobić cache odczytywanych danych przez aplikacje do pamięci RAM i czy takie coś w ogóle istnieje?

Chodzi o to, że mam dużo wolnej pamięci RAM (ok. 20GB) chcę ją wykorzystać, a odczyt z dysku jest bardzo duży. Nie chodzi tu o żaden hosting stron, czy też baz danych MySQL.