Niepoprawni znowu nadają!

Drodzy Niepoprawni - znowu nadajemy. Za chwilę opiszę tutaj w przyspieszonym trybie chronologię zdarzeń.

Tymczasem wracam przywracać na serwerze porządek.. :)

Obiecana relacja

Jak pewnie wszyscy zauważyliście niepoprawni zniknęli w piątek - dokładnie w piątek koło godziny 12-13. Około godziny 17-18, po pracy, mogłem dostać sie w końcu na serwer. Na początku można było tylko stwierdzić że strona nie działa. Fajnie :)

Wszystkie usługi wprawdzie działały ale nie można było wyświetlić strony. Zacząłem bardziej szczegółową analizę. Okazało się ze po ustawieniu usługi http na porcie 80 tylko dla mojego ip (cała reszta świata zablokowana) przez iptables, strona działa, z tym że strasznie wolno. Podejrzenia padły najpierw na mysql - wyczyściłem tabele cache, zmniejszyłem rozmiar pliku ibdata1 bazy innoDB, usunąłem wszystkie inne tabele - prawdziwa demolka. Doszedłem do wniosku że to nie mysql.

Następnym podejrzanym stał się apache2 ze swoimi modułami php5-fpm oraz apc - tu także demolka - reinstalacja i rekofiguracja tych modułów - także totalna rozpierducha (na szczęście zrobiłem backupy plików konfiguracyjnych). Znowu upewniłem się że trop był zły.

Minęło ładnych kilka godzin pracy. W takice tych wszystkich działań zauważyłem jedną dziwną rzecz - okazało się, że przy wzmożonym ruchu z serwera zamulały mi sesje ssh, często nawet zrywało połączenia gdy przechodziłem do bardziej wymagającego, jeśli chodzi o transfer, trybu graficznego (choćby mc). Skierowało to moje podejrzenia na ograniczenie przepustowości karty sieciowej.

Odpaliłem proftpd - okazało się że transfery z serwera sięgają - uwaga - 10KB :). Pomyślałem sobie, że chyba złapałem przyczynę problemu. Była 3 w nocy (z piątku na sobotę). Czym prędzej napisałem zgłoszenie do serwerowni.

Za godzinę, może dwie otrzymałem odpowiedź z dodatkowymi wymaganiami - musiałem porobić wiele testów, udokumentować zrzutami ekranu. Po zaktualizowaniu zgłoszenia o kolejne materiały (sobota nad ranem) pozostało mi czekać na ekipę techników. Ta zjawiła się koło 13-14 czasu polskiego (poranek czasu kanadyjskiego). Koło godziny 16 dostałem odpowiedź - od strony serwerowni jest wszystko w porządku, napisali że z pewnością to kwestia konfiguracji na serwerze.

Padł na mnie blady strach, ponieważ od wielu dni nie przestawiałem konfiguracji serwera. Zacząłem kopać wszędzie tam, gdzie się tylko dało. Po kilku godzinach węszenia w róznych logach, trop padł na jedno z testowych kont na serwerze. Z logów można było wyczytać, że jakiś czas temu, ktoś przypuścił próbe ataku ]]>exploitem semtex.c]]> . Wprawdzie nie miałem 100% dowodu, że próba była skuteczna, ale w mojej głowie powoli zaczęła powstawać teoria spiskowa. Założyłem uzyskanie dostępu do konta root za pomocą dziury w kernelu. No ładnie - dostęp do konta root oznaczał, że haker mógł zrobić wszystko. Mógł nawet zaprogramować serwis do samounicestwienia po jakimś czasie.

Zacząłem szukać śladów jego działalności - przeanalizowałem dziesiątki procesów, dane sytemowe, ustawienia kart sieciowych, ustawienia pakietu tc, iproute2, szukałem wszędzie tajemniczego shapera, który ogranicza transfer, blokując serwis. WIedziałem że to jest główną przyczyną braku działania serwisu. Bezskutecznie.. Nic nie mogłem znaleźć.

Była północ - zaczynała się niedziela. Serwis jak nie działał, tak nie działał. Podjąłem decyzję o stawianiu od nowa serwera - wchodzę w tryb rescue, montuję twarde dyski z danymi, chrootuję się na niedziałający system, odpalam serwer FTP i próbuję ściągnąć świeże backupy.. Ku mojemu zdziwieniu na serwerze odpalonym z prekonfigurowanego kernela serwerowni miałem do czynienia cały czas z ograniczeniem serwera - transfer rzędu kilku kilobajtów na sekundę. No ładnie - pomyślałem - to sobie pościągam backupy ważące ponad 5GB.. Tragedia..

Wypróbowałem jeszcze załadowanie systemu z jeszcze innego kernela - bezskutecznie..

3 w nocy, z soboty na niedzielę, serwis nie działa, a ja nie mam planu. Dodatkowo - w głowie kłębią się myśli o spiskowych teoriach. Po kolejnych kilku godzinach poszukiwania przyczyny stwierdziłem jednak, że na serwerze jest wszystko ok. Koło 5 rano odpaliłem znowu serwer w trybie rescue i przystąpiłem do testów sprzętu: cpu test - przeszedł, test pamięci - przeszedł, negatywny wynik testu transferów po raz kolejny ożywił teorię o usterce w serwerowni. Wyposażony w logi i screenshoty napisałem kolejnego maila. Po kilku godzinach - dziś rano - dostałem odpowiedż z informacją o konieczności uzupełnienia danych. Uzupełniłem. Kolejny dzień z rzędu przyszło mi czekać na interwencję techników - nie pracują w nocy. Musiałem poczekać na kanadyjsie rano.

Krótko przed godziną 14 dostałem miłego maila o treści: There was a configuration bug the switch where your server is connected. I've just corrected the issue and the problem should be gone. Sorry for the inconveniences that this may have caused.

Prędko odpaliłem sesję ssh - sprawdziłem transfery. Okazało się że wszystko działa. :)

Mam nadzieję że chociaż dzięki tej przygodzie, w związku z ewidentną winą serwerowni uda mi się wytargować upust w opłątach za serwer :)

Co moje w tej całej historii, tego mi nikt nie odbierze :)

Przynajmniej nie muszę od nowa stawiać serwera.