Rapport spécial sur le refroidissement liquide dans l'industrie des centres de données
Sep 23, 2024
Laisser un message
--La singularité est arrivée au milieu de la vague de l'IA, les dirigeants nationaux et internationaux sont sur le point d'éclater
I Augmentation de la consommation électrique des puces : le refroidissement liquide devient essentiel
1. Le refroidissement liquide garantit le fonctionnement normal des composants haute puissance
Plus de la moitié des pannes de composants électroniques sont dues à des températures excessives, la température représentant 55 % des pannes. Selon la « règle des 10- degrés », chaque augmentation de 10 degrés de la température par rapport à la température ambiante double le taux de défaillance et réduit la durée de vie. Les taux de défaillance du GPU augmentent, affectant la durée de vie du serveur. La consommation électrique des puces individuelles augmente rapidement, ce qui entraîne une plus grande génération de chaleur. Les puces de processeur grand public comme les processeurs ont une puissance nominale d'environ 200 W, les derniers processeurs dépassant 350 W et les GPU dépassant 1 000 W. Le refroidissement par air ne suffit plus à refroidir les composants électroniques à haute densité thermique, tandis que le refroidissement liquide offre une efficacité d'échange thermique bien plus élevée. La capacité thermique volumétrique des liquides est 1000-3500 fois supérieure à celle de l'air et leur conductivité thermique est 20-30 fois supérieure, ce qui confère au refroidissement liquide une capacité de refroidissement bien supérieure dans le même espace.
Le refroidissement liquide absorbe efficacement la chaleur générée par les composants, fournissant un refroidissement précis des éléments générateurs de chaleur et maintenant la température du cœur du processeur en dessous de 65 degrés (environ 25 degrés de moins que le refroidissement par air). Il évite également les fluctuations importantes de température lors de fonctionnements soudains à haute fréquence, garantissant ainsi la sécurité et la fiabilité du système. Le refroidissement liquide permet même d'overclocker les puces, améliorant ainsi leurs performances d'environ 10 %-30 %.

▲ Pannes de composants électroniques
2. Les technologies nationales et internationales de refroidissement des puces se tournent progressivement vers le refroidissement liquide
Le refroidissement liquide peut maximiser le potentiel des puces. Par exemple, à performances égales, la version refroidie par liquide surpasse la version refroidie par air d'environ 10 %. Le GB200 adopte une nouvelle architecture d'armoire efficace à refroidissement liquide, et les futurs produits NVIDIA pourraient passer complètement du refroidissement par air au refroidissement liquide. Outre NVIDIA, les puces nationales comme Huawei Ascend ont également connu une augmentation substantielle de l'utilisation du refroidissement liquide.
NVIDIA GB200 NVL72 est un système d'extension de niveau rack multi-nœuds refroidi par liquide qui combine 36 superpuces Grace Blackwell, dont 72 GPU Blackwell et 36 processeurs Grace connectés via NVLink de cinquième génération. La technologie de refroidissement liquide utilisée dans le GB200 NVL72 améliore non seulement la densité de calcul et réduit l'empreinte, mais réduit également considérablement les émissions de carbone et la consommation d'énergie grâce à une communication GPU à large bande passante et à faible latence. Par rapport aux infrastructures NVIDIA H100 traditionnelles refroidies par air, le GB200 offre des performances 25 fois supérieures pour la même consommation d'énergie tout en réduisant la consommation d'eau. Selon TrendForce, l'architecture initiale GB200 NVL36 peut comporter à la fois des solutions de refroidissement par air et par liquide, mais en raison d'exigences de refroidissement plus élevées, le NVL72 donnera la priorité au refroidissement liquide. La chaîne d'approvisionnement de refroidissement liquide du système d'armoire GB200 est divisée en cinq composants principaux : plaques froides, unités de distribution de liquide de refroidissement (CDU), collecteurs, déconnexions rapides (QD) et échangeurs de chaleur de porte arrière (RDHx). Le CDU, un système clé, régule le débit de liquide de refroidissement dans tout le système pour garantir que la température de l'armoire est contrôlée dans une plage TDP prédéfinie. Pour les solutions NVIDIA AI, Vertiv est le principal fournisseur de CDU, tandis que Chicony, Auras, Delta et CoolIT poursuivent leurs efforts de tests et de validation.

▲ Refroidissement liquide
3. Les fabricants sont en concurrence dans le domaine des serveurs refroidis par liquide ; Les volumes d’expédition augmentent rapidement
Selon IDC, l'industrie chinoise du refroidissement liquide en est encore à ses débuts, mais le pays a déjà comblé l'écart technologique avec ses homologues étrangers. En fait, la chaîne industrielle chinoise est à la pointe des applications commerciales à grande échelle. En 2023, le marché chinois des serveurs refroidis par liquide a atteint 1,42 milliard de dollars, soit une croissance de 48 % sur un an, avec des livraisons atteignant 161 000 unités, soit une augmentation de 57,3 %. IDC prévoit un taux de croissance annuel composé (TCAC) de 45,8 % pour le marché chinois des serveurs refroidis par liquide de 2023 à 2028, le marché devant atteindre 10,2 milliards de dollars d'ici 2028.
Les grands fabricants de serveurs se développent de manière agressive sur le marché du refroidissement liquide. En termes de part de marché, Inspur, HyperFusion et NingChang se sont classés parmi les trois principaux fournisseurs en 2023, détenant collectivement plus de 70 % du marché.
Bien que le marché soit relativement concentré, une croissance rapide et une demande diversifiée du secteur réduisent progressivement les écarts de parts de marché entre les principaux fournisseurs. Inspur poursuit sa stratégie « All in Liquid Cooling », visant à atteindre la parité tarifaire entre le refroidissement par air et par liquide. Ses serveurs refroidis par liquide s'adressent à des clients de secteurs tels que l'Internet, la finance, les services, la fabrication et les services publics. La société a déployé avec succès des serveurs refroidis par liquide à grande échelle au sein de grandes sociétés Internet et dans les secteurs de la finance, de l'éducation et de la recherche, établissant ainsi une nouvelle référence mondiale avec le premier serveur entièrement à plaque froide sans ventilateur.

▲ Part de marché des fabricants de serveurs refroidis par liquide
Selon IDC, en 2023, l’industrie Internet est restée le plus gros acheteur de serveurs refroidis par liquide en Chine, représentant 46,3 % du marché, avec des attentes de demande toujours forte. De plus, les opérateurs de télécommunications et les utilisateurs gouvernementaux connaissent également une croissance rapide de la demande de centres de données refroidis par liquide. D'autres secteurs tels que la finance, les services, l'industrie manufacturière et les services publics explorent activement des solutions de refroidissement liquide appropriées.
II Le refroidissement liquide augmente la valeur du contrôle de la température, un tournant industriel en vue
1. La pénétration du refroidissement liquide augmente avec l’augmentation de la puissance des serveurs et les objectifs de neutralité carbone
Les centres de données sont de gros consommateurs d'électricité, représentant environ 2 % -3 % de la consommation nationale d'électricité. Les politiques sont de plus en plus strictes en matière de consommation d'énergie dans les centres de données. En 2021, la consommation électrique des centres de données chinois a atteint 216,6 milliards de kWh, soit 2,6 % de la consommation nationale totale d'électricité, avec des émissions de carbone de 135 millions de tonnes, soit 1,14 % des émissions nationales totales. Avec le double objectif carbone, les centres de données sont confrontés à des défis sans précédent en matière de consommation d’énergie et de refroidissement. Après la construction, les coûts d'électricité représentent 60 %-70 % du total des coûts d'exploitation et de maintenance des centres de données traditionnels refroidis par air.
Le PUE (Power Usage Effectiveness) est l'indicateur utilisé pour évaluer l'efficacité énergétique des centres de données, qui est le rapport entre l'énergie totale consommée par un centre de données et l'énergie consommée par ses équipements informatiques. Avant 2013, le PUE moyen des grands centres de données en Chine dépassait 1,7, mais fin 2019, il était tombé à 1,46. Le « Plan d'action triennal pour le développement de nouveaux centres de données (2021-2023) » vise à réduire le PUE des nouveaux centres de données à grande échelle à moins de 1,3 d'ici fin 2023, avec des objectifs inférieurs à 1,25 pour les températures froides et sévères. régions froides. La politique « Données orientales, informatique occidentale » exige que les nœuds de la Mongolie intérieure, du Gansu, du Ningxia et du Guizhou réduisent le PUE en dessous de 1,2.
La consommation énergétique des systèmes de climatisation des centres de données est essentielle pour réduire le PUE à des niveaux raisonnables. Selon les estimations, lorsque la consommation énergétique du système de climatisation représente 38 %, 26 % et 17,5 % du total, les valeurs PUE correspondantes sont respectivement de 1,92, 1,5 et 1,3.
La densité de puissance des serveurs informatiques intelligents a considérablement augmenté, atteignant des niveaux que les systèmes de refroidissement par air ne peuvent pas supporter. Auparavant, les systèmes de refroidissement par air s'adaptaient à des densités de chaleur plus élevées en rapprochant la source de refroidissement de la source de chaleur ou en fermant les allées froides et chaudes, ce qui fonctionnait pour les armoires nécessitant un refroidissement inférieur à 12 kW. Cependant, à mesure que la densité des racks dépasse 20 kW, ces méthodes deviennent moins efficaces. Vertiv estime que le déploiement d'installations avec des racks ultra haute densité (30 kW ou plus) ne laisse guère d'autre choix que d'utiliser le refroidissement liquide. Quelle que soit la configuration ou l'optimisation du système, le refroidissement par air ne peut pas fournir la capacité de refroidissement nécessaire pour maintenir la fiabilité des systèmes informatiques.
Par conséquent, pour réduire le PUE des centres de données et répondre aux besoins de refroidissement des armoires haute puissance, les technologies de refroidissement ont évolué comme suit :
- Phase 1 (1998-2004) :On utilise principalement des systèmes refroidis par air à détente directe, notamment des compresseurs, des évaporateurs, des détendeurs et des condenseurs, les réfrigérants étant généralement du fréon.
- Phase 2 (2005-2009) :Systèmes refroidis par eau principalement utilisés, notamment les refroidisseurs, les tours de refroidissement, les pompes à eau et les unités terminales pour l'eau glacée.
- Phase 3 (2010-2023) :Technologie de refroidissement par évaporation adoptée, qui produit de l'air frais ou de l'eau en utilisant de l'air sec. Cette technologie peut fournir de l'air ou de l'eau de refroidissement selon les besoins. Parce qu'il ne nécessite pas de compresseurs traditionnels, il consomme moins d'énergie et est utilisé dans les centres de données nécessitant un refroidissement toute l'année. Le refroidissement par évaporation indirect, la solution la plus efficace pour utiliser des sources de refroidissement naturelles, peut réduire la consommation d'énergie de refroidissement de 30 % par rapport aux systèmes à eau réfrigérée traditionnels.
- Phase 4 (2024-présent) :La technologie de refroidissement liquide améliore fondamentalement la façon dont l’équipement principal dissipe la chaleur. Il répond mieux aux besoins précis de refroidissement des racks et des puces haute densité et offre des avantages tels qu'une consommation d'énergie réduite, une dissipation thermique plus élevée, un bruit réduit et un coût total de possession (TCO) inférieur. Le refroidissement liquide fait référence à l'utilisation d'un liquide comme moyen de refroidissement pour échanger de la chaleur avec les composants générateurs de chaleur du serveur, évacuant ainsi la chaleur pour garantir que le serveur fonctionne dans une plage de température sûre. Il convient aux scénarios nécessitant une puissance de calcul, une efficacité énergétique et une densité de déploiement accrues.
2. Le refroidissement liquide par plaque froide est très mature et largement utilisé
En fonction de la manière dont le fluide de refroidissement entre en contact avec le serveur, le refroidissement liquide peut être classé en refroidissement indirect et refroidissement direct. Le refroidissement indirect implique principalement le refroidissement liquide par plaque froide, qui est ensuite divisé en refroidissement par plaque froide monophasé et biphasé selon que le fluide de refroidissement subit ou non un changement de phase. Le refroidissement direct comprend le refroidissement par immersion et par pulvérisation, où le liquide entre en contact direct avec la puce ou le rack, et est divisé en refroidissement par immersion monophasé et biphasé selon que le fluide de refroidissement subit ou non un changement de phase.
Le refroidissement liquide par plaque froide est actuellement le plus largement utilisé dans l'industrie des centres de données, et sa principale application dans l'industrie du refroidissement liquide concerne les scénarios informatiques haute densité. Le refroidissement liquide par plaque froide fait référence à l'installation d'une plaque froide directement sur une puce pour l'échange de chaleur, avec un liquide entraîné par une pompe circulant pour éliminer la chaleur à travers un échangeur de chaleur. Le principe de fonctionnement du refroidissement liquide à plaque froide consiste à intégrer des dissipateurs thermiques à microcanaux au-dessus de la source de chaleur, à dissiper la chaleur à travers le liquide circulant à travers ces microcanaux, puis à la transférer vers un échangeur de chaleur, qui dissipe davantage la chaleur dans l'environnement.
Le refroidissement liquide à plaque froide, avec sa technologie mature, ses avantages en termes de coût et de stabilité opérationnelle, est actuellement la solution dominante pour le calcul haute performance et l'IA dans les centres de données. Le refroidissement liquide par plaque froide entraîne généralement un PUE de 1,2 ou moins, atteignant même 1,05 dans certains cas. Les technologies de refroidissement liquide direct comme le refroidissement par immersion offrent généralement de meilleures performances mais sont moins largement utilisées en raison de risques techniques et de coûts plus élevés. Le refroidissement liquide par plaque froide présente plusieurs avantages par rapport aux autres technologies de refroidissement liquide, notamment une installation simple, un faible coût, une évolutivité, une maintenance facile et des délais de construction courts. Par exemple, Meixin propose que le refroidissement liquide par plaque froide pourrait réduire la consommation d’énergie de calcul jusqu’à 30 %.
Dans la pratique, 75 % des systèmes de refroidissement liquide des centres de données mondiaux utilisent la technologie de refroidissement liquide par plaque froide, et le refroidissement liquide par plaque froide est également devenu la solution principale pour les centres informatiques d'IA en Chine. Le refroidissement liquide par plaques froides devrait poursuivre sa forte croissance. Le taux de croissance composé des serveurs à refroidissement liquide en Chine dépassera 50 % au cours des cinq prochaines années, les systèmes de refroidissement liquide à plaques froides dominant le marché.
3. Le refroidissement liquide est plus efficace et est largement encouragé par les opérateurs
Actuellement, l’augmentation rapide de la densité thermique des armoires due à la construction de centres de données pour l’informatique IA a accru la demande de solutions refroidies par liquide. La part de marché des serveurs refroidis par liquide continue d'augmenter, tandis que la proportion des serveurs traditionnels refroidis par air diminue rapidement.

▲ Revenu annuel du refroidissement liquide par rapport au refroidissement par air
En 2022, cinq normes de l'industrie du refroidissement liquide dirigées par l'Académie chinoise des technologies de l'information et des communications ont été officiellement mises en œuvre. Les trois principaux opérateurs de télécommunications prévoient de piloter la technologie de refroidissement liquide dans 10 % des nouveaux projets de centres de données en 2024, et plus de 50 % des projets de centres de données appliqueront la technologie de refroidissement liquide d'ici 2025. China Telecom a déjà planifié et construit un cluster de centres de calcul intelligents en 2025. Shanghai, capable de prendre en charge la formation de modèles à grande échelle avec des milliards de paramètres. Le cluster, alimenté par des capacités informatiques nationales, comportera 10 000 cartes dans un seul pool, ce qui en fera le premier cluster informatique à grande échelle refroidi par liquide produit au niveau national à prendre en charge un seul pool de 10 ,{{11} } cartes.
Le rythme de promotion du refroidissement liquide par les opérateurs dépasse les attentes du marché, ce qui entraînera une optimisation des coûts et une amélioration des normes. Pour améliorer la compétitivité des armoires des centres de données et réduire la consommation d'énergie liée au contrôle de la température, les fournisseurs tiers de centres de données pourraient accélérer l'application du refroidissement liquide, conduisant ainsi à une distribution régionale plus large des centres de données refroidis par liquide en Chine. À mesure que la technologie des centres de données à refroidissement liquide évolue et que les coûts de déploiement diminuent, de plus en plus de fournisseurs de services IDC (Internet Data Center) explorent l'adoption du refroidissement liquide. À l’Est, les utilisateurs qui ont déjà utilisé des centres de données refroidis par liquide constatent une demande accrue de solutions de refroidissement liquide pour répondre à des exigences plus strictes en matière de consommation d’énergie, favorisant ainsi le développement de centres de données refroidis par liquide dans les régions du centre et de l’ouest.
4. Croissance à grande vitesse sur le marché du refroidissement liquide
La chaîne industrielle du refroidissement liquide comprend les fournisseurs en amont de composants de produits, les fournisseurs de serveurs et d'infrastructures de refroidissement liquide en milieu de gamme, ainsi que les utilisateurs de puissance de calcul en aval. L'amont comprend principalement des fournisseurs de composants de produits et d'équipements de refroidissement liquide, tels que des plaques froides, des CDU (Coolant Distribution Units), des raccords rapides, des électrovannes, des réservoirs de refroidissement par liquide à immersion, des collecteurs et des produits de refroidissement. Le secteur intermédiaire comprend les fabricants de serveurs à refroidissement liquide, les fabricants de puces, ainsi que les installations, modules et armoires d'intégration de refroidissement liquide. L'aval comprend les opérateurs de télécommunications, les sociétés Internet et les clients de secteurs tels que les télécommunications, Internet, le gouvernement, la finance, les transports et l'énergie.
Dans la partie amont de la chaîne industrielle, l'échange thermique dans les systèmes de refroidissement liquide à plaques froides est divisé en deux parties : le système d'échange thermique primaire et le système d'échange thermique secondaire. Le système secondaire acquiert la chaleur de sources de chaleur telles que les serveurs par échange thermique direct/indirect et la transfère au système primaire. Le système d’échange thermique principal utilise un équipement de refroidissement extérieur pour dissiper la chaleur à l’extérieur, complétant ainsi le processus de refroidissement global. Les deux systèmes échangent de la chaleur via l'unité de distribution de liquide de refroidissement (CDU).
Pannes de composants spécifiques : une déconnexion rapide est un composant plug-and-socket doté de fonctions de coupure de fluide à la fois sur la fiche et sur la prise, permettant une maintenance plug-and-play rapide des systèmes de refroidissement liquide. Lorsque la fiche et la prise sont connectées, le fluide s'écoule pour fournir du liquide à la plaque froide ; une fois déconnecté, le fluide s'arrête, empêchant les fuites à l'extérieur du système. Un collecteur est un dispositif qui connecte le CDU à la plaque froide des serveurs à refroidissement liquide, généralement installés dans une armoire. Sa fonction est de répartir uniformément le liquide de refroidissement sur chaque plaque froide et de collecter le liquide de refroidissement chauffé, en le renvoyant au CDU via des canalisations connectées.
Une unité de distribution de liquide de refroidissement (CDU) est un module utilisé pour échanger de la chaleur entre le liquide de refroidissement haute température du système secondaire et la source de refroidissement primaire. Il assure la distribution du liquide de refroidissement et gère la surveillance de la température, de la pression et du débit pour les équipements informatiques refroidis par liquide. Le CDU se compose principalement d'échangeurs/condenseurs de chaleur, de pompes de circulation, de filtres, de réservoirs de stockage de liquide de refroidissement et d'accessoires (vannes, canalisations, connecteurs, capteurs, etc.), et a des fonctions telles que l'échange de chaleur, la circulation, la purification du liquide de refroidissement et le stockage.
Entre 2020 et 2022, la technologie de refroidissement liquide a rapidement mûri et la validation des modèles d'application a connu un succès significatif, conduisant à une réduction des coûts unitaires de refroidissement électrique. Selon les données de CCID Consulting, l'approche des plaques froides a conservé plus de 90 % de part de marché, tandis que l'immersion et le refroidissement par pulvérisation représentaient ensemble environ 10 %. Après une moyenne pondérée des trois méthodes, le coût de refroidissement de 1 kW dans les centres de données refroidis par liquide était d'environ 6 500 RMB en 2022, avec une baisse attendue à 5 000 RMB pour 1 kW d'ici 2023.
Récemment, le PDG de Supermicro, Charles Liang, a prédit qu'au cours des 12 prochains mois, 15 % des nouveaux déploiements de centres de données mondiaux utiliseront sa technologie de refroidissement liquide direct, et que cette proportion atteindra 30 % l'année suivante, soit une augmentation substantielle par rapport à seulement 1 % au cours de l'année suivante. au cours des 30 dernières années, créant une autre courbe de croissance majeure du bâton de hockey. Comparé au refroidissement par air traditionnel, le refroidissement liquide direct est plus économique et plus respectueux de l’environnement. En supposant que le taux de pénétration du refroidissement liquide dans les nouveaux centres de données en Chine atteigne 22 % d'ici 2026, l'espace de marché pour le refroidissement liquide s'élèvera à 11,1 milliards de RMB.
