Memo

Due ore di down

Segui le novità su Telegram
30.11.2020

Intervento stamattina per bloccare accessi eccessivi da uno spider esterno troppo curioso. Il difficile e' stato eliminare i falsi positivi che sembravano indicare il problema nell'aggiornamento di software.

Questa mattina il server principale ha rallentato vistosamente.

L'avviso e' arrivato nel giro di 6 minuti, e l'intervento e' iniziato subito.

Dopo aver escluso vari falsi positivi, il problema si e' individuato in un nostro sito su altro server che e' stato oggetto di una attività malevola di estrazione ontologie (non e' la prima volta ahime'), ma questa volta su una scala cosi' enorma da far saltare il sito collegato su altro server. Il tutto solo per servire immagini. Normalmente le cache consentono di evitare che il caricamento di immagini trascini giu' un sito, ma in caso di lettura di spider le cache non funzionano.

Cosi' l'accesso di e' rivelato, di fatto, un ddos.

Concausa altri due aggiornamenti, al sistema operativo e ad un altro software, hanno limitato la cpu disponibile di un altro 30%.

Individuato il problema si e' messo in sicurezza il sito, i server, bannata la fonte e sono al vaglio ulteriori soluzioni per prevenire casi simili.

L'intervento e' stato risolto in 90-120 minuti, e completato in 180 minuti dall'inizio. Nessuna intrusione, nessun dato e' stato violato, solo il server e' stato rallentato. I clienti il cui funzionamento e' indispensabile sono stati coinvolti immediatamente nell'intervento per valutare alternative; tutti tramite twitter #iusondemand come d'uso.

Si raccomanda, per chi abbia bisogno di server up oltre gli usi (99% cioe' tre giorni di down) che e' possibile installare su un secondo server una installazione parallela e sincronizzata, pronta ad entrare in funzione in caso di necessità, al costo da concordare.

Tutti i servizi, due ore dopo la segnalazione interna tramite i nostri monitor, sono up & running.

I dettagli tecnici sono descritti nel registro interno, a disposizione dei clienti quando non inviato direttamente periodicamente senza bisogno di richiederlo.


Segui le novità su Telegram oppure segui il Podcast

Approfondimenti:

Condividi su Facebook







menu