Architecture Lakebase de Neon : Pourquoi ce PostgreSQL serverless survit là où d'autres bases cloud s'effondrent

Lorsque le plan de contrôle d'un grand fournisseur cloud tombe en panne dans une région, la conséquence typique pour les services de base de données managés est une indisponibilité généralisée. Plus aucune nouvelle instance n'est provisionnée, les adresses IP ne sont plus allouées, et les mécanismes de basculement s'étouffent sur les mêmes API qui sont hors service. L'architecture lakebase de Neon a été conçue explicitement pour contourner cette chaîne de dépendances. Plutôt que de traiter le fournisseur cloud comme un orchestrateur de ressources en temps réel, Neon pré-alloue sa capacité et isole les domaines de défaillance. Ainsi, une panne régionale d'AWS ne devient pas automatiquement une panne régionale de Neon .

Cet article décortique les mécanismes architecturaux précis—calcul sans état, isolation par cellules, stockage redondant entre zones et couplage réduit au plan de contrôle—que Neon utilise pour contenir le rayon d'impact. Il s'appuie sur les retours d'incidents publiés par Neon, sa documentation d'architecture et des analyses tierces pour montrer comment ces stratégies ont fonctionné lors d'une panne d'AWS en mai 2026 dans la région us-east-1, et ce que cela nous apprend sur la résilience réelle de cette conception.

L'idée centrale : dissocier la durabilité du calcul de sa disponibilité

L'architecture de Neon part d'un principe simple à énoncer mais difficile à exécuter en toute sécurité : aucune donnée durable ne doit résider sur le nœud de calcul qui exécute PostgreSQL. Dans un PostgreSQL managé classique, le processus de base de données écrit les informations sur un volume de stockage local. Si l'instance ou le matériel sous-jacent tombe en panne, la récupération exige soit un serveur de secours avec un état répliqué, soit une procédure de reprise après crash qui rejoue les journaux de transactions (WAL) depuis le stockage du nœud défaillant. Ces deux chemins dépendent de la capacité du fournisseur cloud à provisionner des instances de remplacement et à attacher des volumes—précisément la capacité que les pannes régionales peuvent dégrader .

Neon élimine cette dépendance en déplaçant tout l'état durable vers une couche de stockage séparée et redondante entre zones. Les nœuds de calcul PostgreSQL chez Neon ne conservent aucune donnée sur un disque local ; ils traitent les requêtes et diffusent les enregistrements WAL vers une flotte de nœuds "safekeepers" et "pageservers" qui stockent de manière durable chaque modification . Ainsi, une panne d'un nœud de calcul interrompt momentanément le traitement des requêtes, mais aucune donnée n'est perdue. Une nouvelle instance de calcul peut se rattacher au même historique de stockage et reprendre là où la précédente s'était arrêtée, sans attendre le rattachement d'un volume ou une reprise après crash .

La conséquence pratique lors d'une panne de provisionnement AWS est significative : Neon n'a pas besoin d'appeler les API EC2 sous la pression d'une défaillance pour remplacer les nœuds de calcul morts. Il peut tirer un remplaçant d'un pool préchauffé d'instances déjà en cours d'exécution et l'attacher à l'état de stockage existant. La défaillance du plan de contrôle du fournisseur cloud devient un inconvénient opérationnel plutôt qu'une urgence de disponibilité des données.

L'isolation par cellules : une région ne signifie pas un domaine de défaillance unique

Les déploiements régionaux de Neon ne sont pas monolithiques. Chaque région est composée d'une ou plusieurs cellules de forme identique, où une cellule regroupe son propre plan de contrôle Kubernetes, son pool de calcul et ses ressources de stockage . Ce cloisonnement signifie qu'une défaillance dans une cellule—qu'elle soit causée par une panne du fournisseur cloud, un bug logiciel ou un épuisement des ressources—ne se propage pas aux autres cellules de la même région.

Pendant la panne AWS de mai 2026 dans us-east-1, la défaillance du fournisseur a spécifiquement affecté sa capacité à provisionner de nouvelles instances et à allouer des adresses IP . Pour une architecture à cellule unique, cela aurait été un incident régional. Dans la conception cellulaire de Neon, seules les cellules qui ont épuisé leurs tampons de calcul pré-provisionnés ont été touchées. Les autres cellules, disposant de tampons suffisants d'instances déjà allouées, ont continué à fonctionner sans interruption .

Ce résultat reflète un choix de conception délibéré : les cellules sont dimensionnées de manière à ce qu'aucune limite de ressources d'une seule cellule ne puisse devenir un goulot d'étranglement régional. Des leçons architecturales antérieures ont renforcé cette réflexion. Avant de passer à l'isolation par cellules, Neon utilisait un seul cluster Kubernetes par région, et les tests ont montré une dégradation du service au-delà de 10 000 bases de données simultanées en raison des limites de mémoire etcd d'EKS (plafond de 8 Go), de contraintes de configuration réseau (~12 000 bases de données simultanées dans us-east-1) et de la limitation du débit de l'API Kubernetes . L'architecture cellulaire supprime entièrement ces plafonds de cluster unique en répartissant la charge sur des cellules indépendantes et sans interaction.

Réduire la dépendance au fournisseur cloud par le pré-provisionnement et la virtualisation personnalisée

La relation de Neon avec le fournisseur cloud sous-jacent est intentionnellement distante. Au lieu d'appeler les API EC2 à la demande chaque fois qu'une base de données doit démarrer, Neon pré-alloue des pools de grandes instances—souvent bare-metal—et maintient une capacité tampon pour absorber les pannes de provisionnement . Ce tampon n'est pas un petit pool chaud pour les locataires prioritaires ; c'est une composante structurelle de la façon dont le système ordonnance le calcul.

Au-dessus de ces instances pré-provisionnées, Neon exécute sa propre couche de virtualisation à mise à l'échelle verticale automatique qui compacte plusieurs instances PostgreSQL sur un seul hôte physique. Cela contourne simultanément deux dépendances du fournisseur cloud : l'API de provisionnement de VM (les instances sont déjà en cours d'exécution) et le chemin d'attachement du stockage par blocs (les nœuds de calcul de Neon n'utilisent pas de volumes de stockage cloud) .

La durabilité des données suit le même schéma. Tout le contenu de la base de données réside dans le propre service de stockage résilient de Neon, soutenu par des magasins d'objets comme Amazon S3 ou Azure Blob Storage, plutôt que sur des périphériques de blocs du fournisseur cloud . Les API de stockage d'objets ont des modes de défaillance différents de ceux des API de provisionnement de VM, et en pratique, la durabilité du stockage d'objets pendant les pannes régionales du plan de contrôle s'est avérée nettement plus résiliente. Lorsqu'un nœud pageserver ou safekeeper tombe en panne, aucun état durable n'est perdu—un autre nœud peut reconstruire les pages nécessaires à partir des WAL et du stockage d'objets .

Le stockage redondant entre zones n'est pas une option premium, c'est la base

Dans de nombreux services de base de données managés, la réplication de stockage multi-AZ est une fonctionnalité payante nécessitant une configuration explicite. Chez Neon, chaque base de données—quel que soit le niveau de tarification—est soutenue par un stockage d'objets distribué et redondant entre zones avec des caches SSD NVMe répartis sur plusieurs zones de disponibilité . Cela élimine la réplication physique inter-zones en tant que préoccupation distincte, car la couche de stockage elle-même est intrinsèquement répliquée.

La conception de réplication WAL fournit des garanties de durabilité concrètes : les écritures sont répliquées de manière synchrone vers les safekeepers avec une exigence de quorum (une réplication à six voies avec un quorum d'écriture de quatre sur six est une configuration publiée), ce qui signifie qu'une zone de disponibilité entière plus un réplica supplémentaire peuvent tomber en panne sans perte de données . Il ne s'agit pas d'une résilience théorique ; c'est une propriété du chemin d'écriture qui doit être satisfaite avant que les transactions ne soient acquittées au client.

Pour la disponibilité du calcul en particulier, le modèle de stockage partagé offre un avantage que les architectures primaire-réplica traditionnelles ne peuvent égaler : comme toutes les instances de calcul partagent le même historique de stockage durable, un calcul de remplacement n'a pas besoin de rattraper son retard par réplication physique. Il s'attache à l'historique existant et commence à servir des requêtes en quelques secondes à quelques minutes, selon la charge de travail et la taille de l'ensemble de travail mis en cache .

Objectifs de disponibilité et ce que montrent les données

Les SLI (indicateurs de niveau de service) de disponibilité publiés pour l'architecture lakebase de Neon se situent dans une fourchette d'environ 99,93 % à 99,96 % . Ces chiffres reflètent une conception où les pannes de calcul sont récupérées en remplaçant des nœuds sans état plutôt qu'en basculant vers des serveurs de secours inactifs, et où la durabilité du stockage est obtenue par une réplication sauvegardée par un magasin d'objets plutôt que par une mise en miroir synchrone de disques.

Le propre historique d'incidents de Neon fournit un étalonnage utile de ces objectifs. Un incident de mai 2025 dans us-east-1 a causé 5,5 heures d'indisponibilité pour les opérations de démarrage et de création de bases de données sur deux événements distincts, bien que les bases de données actives soient restées inchangées . La cause première—l'épuisement des adresses IP dans les sous-réseaux Kubernetes déclenché par une surcharge du plan de contrôle et une mauvaise configuration du CNI AWS—a exposé une limite de mise à l'échelle que l'architecture cellulaire a ensuite été conçue pour prévenir . Plus tôt, en août 2024, une panne de pageserver dans us-east-1 a affecté environ 0,4 % des projets clients pendant jusqu'à deux heures après une défaillance d'une instance EC2 ; comme les pageservers agissent comme un cache de disque local sauvegardé par S3, la perte d'un pageserver signifiait une indisponibilité temporaire plutôt qu'une perte de données permanente .

Ces incidents soulignent que le calcul sans état et le stockage partagé réduisent la gravité des pannes mais ne les éliminent pas entièrement. Les propriétés de résilience de l'architecture—aucune perte de données due aux pannes de calcul, récupération automatique par rattachement, rayon d'impact limité par cellule—tiennent dans des conditions de panne réelles, mais le système n'est pas à l'abri des défauts logiciels, de l'épuisement des ressources ou des dépendances au fournisseur cloud qui n'ont pas encore été entièrement découplées (comme l'allocation d'adresses IP).

Tests de résilience : comment Neon valide sa conception

Le blog d'ingénierie de Neon indique que le système est testé contre des scénarios de panne réels, y compris les pannes de provisionnement du fournisseur cloud et les simulations de déconnexion de toute une zone de disponibilité . Ces tests exercent les tampons d'instances pré-provisionnés et les limites d'isolation des cellules qui sont censés limiter le rayon d'impact. La forme générale d'ingénierie du chaos que Neon décrit reflète une pratique établie : définir une hypothèse d'état stable sur la façon dont le système devrait se comporter en cas de panne, injecter une défaillance contrôlée (comme déconnecter une zone de disponibilité entière ou épuiser les tampons de calcul), observer si l'hypothèse tient, et itérer sur l'architecture quand ce n'est pas le cas .

Bien que Neon n'ait pas publié de méthodologie détaillée d'ingénierie du chaos ni de résultats d'expériences spécifiques au-delà de l'aperçu du blog architectural, les preuves disponibles montrent que les tests ciblent directement les revendications de résilience distinctives du système. Les tests que Neon décrit—simuler des pannes de provisionnement et des défaillances de zone de disponibilité—sont précisément les scénarios où le calcul sans état et l'isolation cellulaire devraient offrir le plus grand avantage par rapport aux architectures de base de données managées traditionnelles. La panne AWS de mai 2026 a effectivement servi de validation non planifiée de ces mêmes mécanismes, et le résultat du rayon d'impact contenu est cohérent avec ce que le pré-provisionnement et l'isolation cellulaire sont conçus pour produire.

Ce que cela signifie pour les équipes qui évaluent PostgreSQL serverless

L'architecture de Neon offre un compromis de résilience spécifique : elle accepte que le calcul soit éphémère et le remplace rapidement plutôt que de le maintenir en vie à tout prix, tout en investissant massivement dans la durabilité du stockage et l'isolation des domaines de défaillance. Pour les charges de travail où une interruption occasionnelle des requêtes de moins d'une minute est acceptable et où la préoccupation principale est la sécurité des données, ce modèle élimine le coût et la complexité du maintien de serveurs de secours. Pour les charges de travail exigeant une disponibilité continue des requêtes avec zéro interruption, des configurations multi-calculs supplémentaires sont disponibles mais entraînent un coût plus élevé.

L'architecture force également une comptabilité honnête de la dépendance au cloud. Aucun service de base de données n'est véritablement indépendant de son fournisseur cloud sous-jacent, mais le degré de couplage varie énormément. La décision de Neon de pré-provisionner la capacité, d'utiliser sa propre couche de virtualisation et de stocker les données dans un stockage d'objets plutôt que dans des volumes de blocs réduit la surface des API du fournisseur cloud qui doivent être disponibles pour que le niveau base de données fonctionne. Cette surface de dépendance plus étroite a porté ses fruits lors de la panne AWS de mai 2026, lorsque les cellules disposant de tampons pré-provisionnés adéquats ont continué à fonctionner à travers une défaillance qui aurait été régionale pour une architecture plus étroitement couplée.

Pour les équipes qui construisent sur une infrastructure serverless, l'approche de Neon démontre que le confinement du rayon d'impact n'est pas une réflexion après coup—c'est le produit de décisions architecturales prises à la frontière stockage-calcul et dans la structure du domaine de défaillance bien avant qu'une panne ne survienne.