2021-09-1
md
Site Web inaccessible pendant trois jours

Les actions d'une personne dont les motifs n'ont pas encore été divulgués ont entraîné la panne d'un certain nombre de serveurs appartenant au fournisseur d'hébergement Web que j'utilise. La malveillance de cet individu ne fait aucun doute car il a commencé par effacer le contenu des serveurs de sauvegarde avant de s'en prendre aux serveurs de production. L'intention de causer des dommages irréparables était claire. Les retombées semblent être les suivantes,

Je fais partie des chanceux, car mon site Web se trouvait sur l'un des serveurs qui a été complètement restauré. Ainsi, après avoir été hors ligne pendant environ trois jours, mon site fonctionne à nouveau. Mes excuses aux milliers de personnes qui n'ont pas pu accéder à leur site préféré durant la période de restauration.

Le seul problème majeur rencontré après la restauration, était que quelques fichiers de type htaccess bloquaient l'accès à toutes les pages Web. Lorsque des courriels ont été reçus, j'ai pensé à utiliser Filezilla (c'est-à-dire SFTP) pour afficher le contenu de mon compte. Le site Web était restauré. C'est alors que j'ai compris. Les erreurs 403 que j'obtenais en essayant d'ouvrir des pages Web sur mon site ne correspondaient pas à la page d'erreur 403 personnalisée que j'avais installée. J'ai donc simplement supprimé les fichiers htaccess et constaté que mon site Web était accessible via HTTPS ou HTTP. Je me demande si un serveur Web différent est utilisé maintenant, ce qui pourrait expliquer pourquoi les fichiers htaccess ne fonctionnaient plus correctement.

Plus de 90 % des demandes des robots d'exploration Web (les spiderbots des moteurs de recherche Web) ont reçu un résultat 403 le 31 août lorsque mon site a été restauré. Je suppose que beaucoup de ceux qui ont essayé d'accéder à ce site hier ont rencontré le même problème, mais je n'ai pas de statistiques équivalentes pour les demandes provenant de "vraies" personnes. En tout cas, toutes mes excuses à tous ceux qui n'ont pas trouvé une page recherchée sur le site. Pour mettre en perspective ce commentaire facétieux au sujet des milliers d'utilisateurs déçus de ne pouvoir accéder à mes pages Web : il y avait 216 visiteurs différents sur le site le 31, sans compter les robots.

Je rencontre des conflits de certificats SSL/TLS. Il se peut simplement que le fournisseur ait modifié tous ses certificats en réponse à l'attaque malveillante, j'examinerai ce problème plus tard. Dans toute façon, cela ne devrait avoir aucun effet pour quiconque tente d'accéder aux billets et autres ressources de ce site. S'il y a un problème, merci de me prévenir par courriel; il y a un lien en bas de chaque billet à cet effet.

Compte tenu de ces derniers paragraphes, il est évident que mes comptes de messagerie sont également opérationnels. Bien sûr, aucun courriel envoyé au cours des trois derniers jours n'a atteint la boîte de réception de mon compte. J'espère que l'expéditeur aura reçu un message signalant que le courriel envoyé n'a pas pu être transféré vers mon compte. Le message contenait également un message d'erreur plutôt cryptique, que tout le monde, espérons-le, a ignoré. La bonne nouvelle, c'est qu'à part les courriels envoyés au cours de ces trois derniers jours, aucun n'a été perdu. Je suis également très reconnaissant que mon calendrier personnel ait été conservé car je n'avais aucune sauvegarde. La première chose que j'ai faite quand j'y ai eu accès a été d'en faire une copie locale. Une priorité absolue est de trouver un moyen de faire automatiquement des sauvegardes du calendrier qui est partagé avec la plupart de mes appareils personnels.

Ce qui suit sont les messages du fournisseur d'hébergement Web alors que son équipe de techniciens travaillait pour résoudre le problème. Cela se lit un peu comme un de ces polars procéduraux britanniques. Qui sait, l'équipe de sécurité informatique soutenue par les analystes informatico-légaux pourrait devenir un nouveau genre à la télévision. Les noms ont été changés pour préserver les innocents.

LIVE: Incident majeur en cours

28 août 2021: Un incident majeur impacte actuellement nos comptes d'Hébergement Web et d'Hébergement Revendeurs sur plusieurs systèmes dans notre centre de données. Notre équipe travaille activement sur ce problème, cependant la situation est préoccupante.

Que s'est-il passé?

D'après l'enquête que nous avons menée jusqu'à présent, le matin du 28 août vers 6h00, un individu appartenant à un fournisseur de services tiers a utilisé son compte d'accès privilégié pour se connecter à l'un des portails de gestion de notre centre de données, et ce sans autorisation, et a initié une réinstallation sur certains de nos serveurs de sauvegarde, puis sur certains de nos serveurs de production.

En quelques heures, notre équipe de réponse aux incidents a identifié le problème et désactivé l'accès au compte source, empêchant ainsi tout dommage supplémentaire. L'environnement a été sécurisé, l'individu complètement bloqué et notre plan de reprise après sinistre est entré immédiatement en action, mais le mal était déjà fait.

Mise à jour 28 août 2021, 1PM

Nous pouvons vous confirmer que plusieurs systèmes ont été impactés par un incident majeur. Nous tentons de récupérer les données sources et rétablir le service. Nous publierons les mises à jour dès qu'elles seront disponibles.

Nous nous excusons sincèrement pour tout inconvénient causé et apprécions votre patience alors que nous continuons à travailler activement à la compréhension et à la résolution de cet incident.

Veuillez noter que le fait de contacter le support technique ne vous permettra pas d'obtenir davantage d'informations.

Mise à jour 28 août 2021, 1:25PM

Nous avons confirmé que les sauvegardes des systèmes Beaubassin et Pierre fonctionnent et nous procédons à une restauration complète de celles-ci. Les systèmes suivants sont toujours en panne:

Nous continuons à travailler à définir une stratégie de récupération pour ces systèmes et nous ferons une mise à jour prochainement.

Mise à jour 28 août 2021, 1:40PM

Nous avons réussi à restaurer le service du serveur Robert2, qui est de nouveau opérationnel. Nous avançons dans nos efforts pour restaurer les autres systèmes.

Mise à jour 28 août 2021, 3PM

Nous avons commencé le processus de reprise après sinistre à partir de sauvegardes externes pour les serveurs suivants:

Étant donné qu'il s'agit d'une restauration à partir d'une sauvegarde complète du système, la restauration peut durer jusqu'à 24h avant que toutes les données soient à nouveau disponibles. Nous fournirons des mises à jour dès qu'elles seront disponibles.

Nous enquêtons toujours sur la situation pour les serveurs suivants et n'avons pas encore de mise à jour pour le moment:

Mise à jour 28 août 2021, 5:10PM

Nous avons maintenant procédé à la restauration des serveurs:

Les serveurs suivants sont en cours de restauration à partir de sauvegardes de reprise après sinistre:

Nous sommes toujours occupés à analyser la situation pour les serveurs suivants et nous ne disposons pas encore de mise à jour à ce stade:

Mise à jour 28 août 2021, 7:50PM

Nous avons maintenant procédé à la restauration des serveurs:

Les serveurs suivants sont en cours de restauration à partir de sauvegardes de reprise après sinistre et les comptes seront rétablis progressivement au fur et à mesure de leur restauration (le processus complet prendra plus de 24 heures):

Les serveurs suivants ont subi des pertes de données plus graves et nous étudions des mesures de récupération de données plus poussées:

Si vous avez déjà votre propre sauvegarde locale de votre compte/site web (hébergé sur l'un des 5 serveurs listés ci-dessous), vous pouvez demander l'activation d'un nouveau compte sur un autre serveur, en nous contactant via le clavardage en direct. Ce service vous est offert sans aucun frais supplémentaire. Cependant, veuillez noter que SEULS ceux qui ont des sauvegardes pourront se voir créer de nouveaux comptes, car ils remplaceront essentiellement votre compte existant.

Bien qu'une restauration limitée des données soit encore possible de notre côté, la probabilité d'une restauration complète du compte dans les prochaines 24 heures est mince. Nous poursuivons néanmoins nos efforts et faisons de cette restauration notre priorité numéro 1.

Mise à jour 28 août 2021, 9:00PM

Pendant que notre équipe continue de travailler cette nuit, veuillez noter que la mise à jour en direct reprendra demain matin à 10 heures afin que nous puissions concentrer tous nos efforts sur le processus de restauration. Nous serons alors en mesure de donner un compte rendu plus détaillé de ce qui a été accompli.

Si vous avez déjà votre propre sauvegarde locale de votre compte/site web (hébergé sur l'un des 5 serveurs listés ci-dessous), vous pouvez demander l'activation d'un nouveau compte sur un autre serveur, en nous contactant via le clavardage en direct. Ce service vous est offert sans aucun frais supplémentaire. Cependant, veuillez noter que SEULS ceux qui ont des sauvegardes pourront se voir créer de nouveaux comptes, car ils remplaceront essentiellement votre compte existant.

Bien qu'une restauration limitée des données soit encore possible de notre côté, la probabilité d'une restauration complète du compte dans les prochaines 24 heures est mince. Nous poursuivons néanmoins nos efforts et faisons de cette restauration notre priorité numéro 1.

Serveurs avec des pertes de données plus graves:

Mise à jour 29 août 2021, 10:00AM

Merci encore une fois pour votre patience. Nous avons continué à travailler pendant la nuit à la restauration des comptes.

Voici les mises à jour pour chacun de nos serveurs restaurés jusqu'à présent:

Voici les mises à jour pour les serveurs actuellement en cours de restauration:

Les services sur les serveurs ci-dessus devraient être pleinement fonctionnels dans les 12 à 24 prochaines heures.

Veuillez noter que nous publierons une autre mise à jour à 11 heures pour les serveurs les plus gravement touchés.

Mise à jour 29 août 2021, 11:00AM

Merci à tous pour votre patience et votre soutien pendant ce qui a été un 24-heure éprouvant. Notre équipe a travaillé sans relâche pour rétablir le service pour les clients affectés et nous connaissons un certain succès, mais les nouvelles ne sont pas toutes bonnes, alors voici où nous en sommes.

Serveurs qui ont été entièrement ou partiellement récupérés

Nous avons réussi à récupérer les serveurs suivants:

Comptes sur les serveurs avec une forte probabilité de récupération des données

Nous avons 4 systèmes dont les serveurs de sauvegarde externes n'ont pas été touchés, et ils sont activement utilisés pour les restaurations de comptes en ce moment. Nous espérons être en mesure de restaurer complètement tous les comptes d'ici lundi soir, voire plus tôt si possible. Voici où ils en sont dans le processus de restauration :

Un processus complet de restauration pour un système de cette taille prend généralement 24 heures. Dès qu'un compte est restauré, son site web et son courrier électronique devraient être disponibles. Ainsi, pour la plupart des utilisateurs de ces machines, vos services devraient être restaurés avant la fin de la journée de dimanche.

Comptes sur des serveurs dont la probabilité de récupération des données est faible

Les 5 systèmes suivants ont vu leurs serveurs de sauvegarde externes également partiellement détruits, et nous n'avons pas encore réussi à récupérer leurs données:

Pour les clients sur ces appareils, nous menons actuellement 3 stratégies de récupération en même temps:

  1. Rechargement de votre contenu à partir de votre propre sauvegarde
    Si vous avez une sauvegarde locale de votre site web et/ou de vos fichiers sur votre ordinateur et que vous pouvez les retélécharger, veuillez contacter le support et ils activeront immédiatement un nouveau compte pour vous sur un nouveau serveur.
  2. Récupération partielle des données sur les serveurs de production
    Nous avons réussi à récupérer les fichiers de données des comptes d'hébergement (à l'exception des bases de données) pour 2 des serveurs affectés (Cocagne et Hermite pour l'instant) et nous pourrions être en mesure d'effectuer une restauration partielle de ces comptes dans les prochaines 48-72 heures. Ce processus est lent et fastidieux et ne sera probablement pas terminé avant mardi.
  3. Récupération manuelle des données
    Nous avons fait appel à une société externe d’experts pour nous aider à récupérer les données sur nos serveurs de sauvegarde et ils ont commencé leur travail samedi soir. La récupération manuelle des données est un processus lent et fastidieux, mais nous espérons obtenir un rapport sur ce qui peut être récupéré avant la fin de la journée aujourd’hui. Cette approche sera probablement la plus longue pour récupérer les données, avec un délai de 1 à 2 semaines.

Nous publierons plus d'informations ainsi qu'un rapport post-mortem une fois que les problèmes opérationnels immédiats auront été résolus.

Nous avons mobilisé toute notre équipe pour participer à cet effort et nous avons actuellement des dizaines d'administrateurs système, de techniciens d'assistance et d'ingénieurs en récupération des données qui participent à l'effort de récupération depuis hier. Nous comprenons que cet incident peut avoir un impact sérieux sur votre entreprise et nous faisons tout ce qui est en notre pouvoir pour limiter les dégâts.

Mise à jour 29 août 2021, 5:00PM

Pendant que notre équipe continue ses efforts sur le processus de restauration, la mise à jour en direct reprendra demain matin à 10AM. Nous pourrons vous donner un compte rendu de ce qui a été accompli cette nuit.

Comptes sur les serveurs en cours de restauration

Le processus de restauration avance bien et nous espérons être en mesure de récupérer tous les comptes sur ces serveurs à partir des sauvegardes d'ici la fin de la journée ce lundi, et plus tôt si possible. Voici la progression la plus récente:

Comptes sur des serveurs dont les sauvegardes sont endommagées

Les serveurs suivants ont vu leur sauvegarde locale et leur sauvegarde externe fortement endommagés, rendant le processus de récupération extrêmement difficile:

Notre première tentative de restauration des données sur nos serveurs de sauvegarde a échoué et, à ce stade, la probabilité de restaurer avec succès les données de ces comptes à partir de ces serveurs est très faible.

Par conséquent, nous collaborons avec des experts en récupération de données pour tenter de restaurer les données à partir du serveur source, mais ce processus est extrêmement long et fastidieux, nécessitant potentiellement une analyse fichier-par-fichier (pour des systèmes contenant des millions de fichiers) et pourrait prendre des mois.

Voici comment vous pouvez aller de l'avant si votre compte se trouve sur l'un de ces serveurs:

Pour plus d’assistance

Veuillez utiliser notre Clavardage en Direct ou nos billets d’assistance (ticket) pour toute demande ou requête. Les lignes téléphoniques sont temporairement fermées pour mieux soutenir les efforts de restauration. Nous vous remercions de votre patience et de votre compréhension.

Mise à jour 29 août 2021, 11:00PM

Comptes sur des serveurs dont les sauvegardes sont endommagées

Notre processus initial de récupération des données n'ayant pas fonctionné, nous recommandons désormais aux clients affectés par la perte de données de considérer l'utilisation d'un nouveau compte d'hébergement temporaire, déjà créé dans leur Espace Client.

Pour utiliser ce compte, cliquez sur celui-ci pour créer vos courriels et télécharger les données de votre site web comme vous le feriez sur votre compte d'hébergement habituel.

Une fois que c'est fait, il suffit de lier votre domaine à ce compte, changez le DNS de votre domaine à:

arc1.hwcc.biz
arc2.hwcc.biz

Une fois que les changements de DNS se seront propagés (cela peut prendre plusieurs heures), votre nouveau compte peut être utilisé pour accepter et envoyer de nouveaux courriels et télécharger rapidement du contenu sur vos sites web. Ces comptes resteront gratuits jusqu'au 1er janvier 2022 au moins et sont destinés à servir de palliatif jusqu'à ce qu'une solution plus permanente soit trouvée.

Comptes sur les serveurs en cours de restauration

Le processus de restauration avance bien et nous espérons être en mesure de récupérer tous les comptes sur ces serveurs à partir des sauvegardes d'ici la fin de la journée ce lundi, et plus tôt si possible. Voici la progression la plus récente:

Mise à jour 30 août 2021, 9:00AM

Le processus de restauration progresse pour les 4 serveurs où des sauvegardes sont disponibles:

Pour les clients sur les serveurs dont les sauvegardes sont endommagées, nous vous recommandons de lancer votre plan de reprise après sinistre dès que possible. Nous avons créé des nouveaux comptes d'hébergement dans votre Espace Client pour vous aider à être opérationnel pendant que nous explorons les options de récupération des données à long terme. Les serveurs concernés sont les suivants:

Mise à jour 30 août 2021, 3:00PM

Le processus de restauration avance pour les 4 serveurs où des sauvegardes sont disponibles:

Il n'y a pas de mise à jour pour le moment pour les clients sur les serveurs dont les sauvegardes sont endommagées. Nous continuons à vous recommander d'utiliser le nouveau compte pour vous aider à poursuivre vos opérations commerciales. Nous mettrons bientôt à votre disposition des ressources supplémentaires pour vous aider dans le processus de reconstruction.

Mise à jour 30 août 2021, 6:00PM

Serveurs qui ont été entièrement ou partiellement récupérés

Nous avons réussi à récupérer les serveurs suivants:

Comptes sur les serveurs en cours de restauration

Le processus de restauration avance pour les 3 serveurs où des sauvegardes sont disponibles:

Comptes sur des serveurs dont les sauvegardes sont endommagées

Les serveurs suivants ont vu leur sauvegarde locale et leur sauvegarde externe fortement endommagés, rendant le processus de récupération extrêmement difficile:

Voici comment vous pouvez aller de l'avant si votre compte se trouve sur l'un de ces serveurs:

Mise à jour 30 août 2021, 10:00PM

Pendant que notre équipe continue ses efforts sur le processus de restauration, strong class="text-danger">la mise à jour en direct reprendra demain matin à 10AM. Nous pourrons vous donner un compte rendu de ce qui a été accompli cette nuit.

Comptes sur les serveurs en cours de restauration

Le processus de restauration avance bien pour ces 3 serveurs dont les sauvegardes sont disponibles:

Mise à jour 31 août 2021, 11:00AM

Serveurs qui ont été entièrement ou partiellement récupérés

Nous avons réussi à récupérer les serveurs suivants:

Comptes sur les serveurs en cours de restauration

Le processus de restauration avance et nous espérons être en mesure de récupérer tous les comptes sur ce serveur à partir des sauvegardes d'ici 3:00PM. Voici les dernières avancées:

Comptes sur des serveurs dont les sauvegardes sont endommagées

Pour les clients sur les serveurs dont les sauvegardes sont endommagées, nous sommes en train de développer un Portail informatif pour vous aider. Cette ressource vous fournira toutes les informations nécessaires pour vous redémarrer rapidement et immédiatement avec votre nouveau compte.

Mise à jour 31 août 2021, 2:30PM

Nous avons maintenant terminé avec succès 99,9% des restaurations de toutes les sauvegardes dont nous disposions et qui étaient intactes. Cela signifie que si votre compte était hébergé sur l'un des serveurs suivants, votre site web et vos courriels devraient maintenant être opérationnels:

Si ce n'est pas le cas, c'est que vous avez un problème technique et veuillez svp contacter le Support pour de l'aide. La totalité des comptes Sibername avaient des sauvegardes récupérables et ont maintenant été restaurés.

Nos efforts et notre attention se portent maintenant sur les serveurs dont les sauvegardes ne sont pas récupérables. La situation est toujours critique, mais il y a quelques développements positifs (limités). Sur 2 des serveurs affectés, en particulier Cocagne et Hermite, nous avons réussi à récupérer la plupart des fichiers dans les comptes utilisateurs. Ceci exclut malheureusement les bases de données, mais devrait inclure le contenu des courriels.

Dans les prochaines 24-48 heures, nous comptons mettre à disposition de nouveaux serveurs de production (pour remplacer les 5 que nous avons perdus) sur lesquels nous commencerons la diffusion des données disponibles, au fur et à mesure que nous les trouverons. Pour les autres serveurs, nous travaillons avec les meilleures équipes de récupération de données pour tenter d'extraire ce que nous pouvons, mais le délai pour cela est probablement de plusieurs semaines, et les résultats sont loin d'être certains.

Nous avons également reçu beaucoup de questions sur les nouveaux comptes que nous avons mis à disposition. Ces comptes sont déjà disponibles pour vous si vous faites partie des 5 serveurs pour lesquels la récupération des données est peu probable. Vous pouvez les utiliser MAINTENANT pour configurer de nouveaux courriels et le contenu de votre site web sur votre domaine existant (suivez ces instructions), afin que vous puissiez assurer au moins les opérations essentielles de votre entreprise. Ces comptes resteront actifs en parallèle avec votre compte principal (une fois qu'il aura été réactivé), de sorte que vous pourrez facilement transférer des données entre eux à une date ultérieure, si nécessaire. Les noms des serveurs des nouveaux comptes sont

arc1.hwcc.biz
arc2.hwcc.biz

Mise à jour 31 août 2021, 7:30PM

Nous avons maintenant terminé avec succès 100% des restaurations de toutes les sauvegardes dont nous disposions et qui étaient intactes. Cela signifie que si votre compte était hébergé sur l'un des serveurs suivants, votre site web et vos courriels devraient maintenant être opérationnels:

Si ce n'est pas le cas, c'est que vous avez un problème technique et veuillez svp contacter le Support pour de l'aide. La totalité des comptes Sibername avaient des sauvegardes récupérables et ont maintenant été restaurés.

Nos efforts et notre attention se portent maintenant sur les serveurs dont les sauvegardes ne sont pas récupérables. Ce soir, nous finirons d'activer les serveurs de remplacement pour les 5 que nous avons perdus, et demain matin, vos comptes d'hébergement originaux seront à nouveau disponibles (mais sans données). Pour les clients de Cocagne et Hermite, nous restaurerons automatiquement les fichiers que nous avons réussi à récupérer, ce qui devrait inclure tous vos courriels mais pas les bases de données. En attendant, vous pouvez continuer à utiliser vos nouveaux comptes en toute sécurité.

Pour ceux qui sont hébergés sur les serveurs Charles, Erse et Vicaire, nous continuons à travailler avec les experts en récupération des données mais ces efforts sont susceptibles de durer des semaines, et non des jours.

Mise à jour 1 septembre, 1:00PM

Nous pouvons maintenant partager des mises à jour concernant 6 des serveurs impactés:

Les serveurs Charles, Erse et Vicaire: de nouveaux comptes vides seront mis à la disposition de tous les clients aujourd'hui pour vous permettre de commencer à reconstruire. En parallèle, nous travaillons avec les meilleures équipes de reprise après sinistre pour tenter de récupérer ce que nous pouvons, mais la progression sera lente et il est peu probable qu'elle permette une récupération complète des données. Vous pouvez utiliser vos nouveaux comptes en sachant qu'ils n'entraveront en rien nos efforts de récupération.

Serveurs Cocagne et Hermite: nous avons sécurisé les fichiers (mais pas les bases de données) et sommes en train de les restaurer. Ils seront mis à votre disposition dès que possible (ETA: plus tard dans la journée).

En outre, une perte de données s'est produite pour un petit groupe de revendeurs sur le serveur Robert. Pour aider à stabiliser les comptes existants, nous prévoyons une migration de toutes les données et de tous les comptes ce soir et nous inclurons les données de ce serveur dans nos efforts de récupération. Les revendeurs dont les données sont manquantes sont fortement encouragés à restaurer les fonctionnalités à partir de sauvegardes locales.

Mise à jour 1 septembre, 11:45AM

Les comptes sur les serveurs entièrement rétablis (Pierre, Atanak et Beaubassin) devraient maintenant être opérationnels. Après l'annonce de leur restauration complète hier, un problème est survenu avec les IPs, mais ce problème a été résolu par notre équipe cette nuit et tout devrait maintenant fonctionner sur ces serveurs. Si vous avez d'autres problèmes, veuillez contacter le Support par clavardage ou par ticket.

Veuillez noter que le service clientèle est confronté à un pic de demandes et fait tout son possible pour vous répondre aussi rapidement que possible. Nous mettrons à votre disposition une FAQ qui vous aidera à répondre à la grande majorité des questions que vous nous posez très bientôt. Cela devrait également permettre de réduire le délai de réponse au niveau du Support. Encore une fois, nous tenons à vous présenter nos excuses pour ce délai supplémentaire et nous vous remercions de votre patience.