Serveur de plaques froides entièrement refroidi par liquide

 

Afin de faire progresser davantage le développement de la technologie de refroidissement liquide et de faire mûrir l’écosystème, Inspur Information, en collaboration avec Intel, s’est concentré sur l’optimisation des conceptions de refroidissement liquide pour les serveurs haute densité à usage général.

 

Outre l’adoption généralisée par l’industrie du refroidissement liquide des processeurs et des GPU, une exploration et des recherches approfondies ont été menées sur le refroidissement liquide des mémoires haute puissance, des disques SSD, des cartes réseau OCP, des blocs d’alimentation, des cartes PCIe et des modules optiques.

 

Cet effort a permis d’atteindre la couverture de refroidissement liquide la plus élevée de l’industrie, répondant à diverses exigences de déploiement pour différents niveaux de couverture de refroidissement liquide et fournissant des capacités d’infrastructure générale et un support technique diversifié aux clients dans des secteurs tels que l’Internet et les télécommunications.

 

Ce développement d'un système de plaque froide entièrement refroidi par liquide est basé sur le serveur informatique haute densité i24 à quatre nœuds 2U d'Inspur Information. Chaque nœud refroidi par liquide prend en charge deux processeurs Intel Xeon Scalable de 5e génération, associés à 16 modules de mémoire DDR5, une carte d'extension PCIe et une carte réseau OCP 3.0. L'ensemble du système peut prendre en charge jusqu'à huit SSD, répondant aux besoins de stockage des clients tout en atteignant une puissance de calcul haute densité.Les principaux composants générateurs de chaleur du serveur comprennent le processeur, la mémoire, les cartes d'E/S, les disques durs locaux et l'alimentation du châssis.

 

La solution de refroidissement liquide permet d'évacuer environ 95 % de la chaleur du système par le liquide, grâce au contact de la plaque froide avec la source de chaleur. Les 5 % restants de la chaleur sont évacués par l'eau de refroidissement dans l'échangeur de chaleur air-liquide situé derrière le bloc d'alimentation, ce qui permet de capturer près de 100 % de la chaleur liquide au niveau du système.

 

 

I Composition du système et disposition des pipelines

 

1. Présentation du système de serveur entièrement refroidi par liquide

Le système de serveur 2U à quatre nœuds entièrement refroidi par liquide se compose de nœuds, d'un châssis, d'un plan médian et de modules SSD. La connexion entre les nœuds et les composants du châssis est réalisée via des connexions à l'aveugle pour l'eau, l'alimentation et les signaux via des connecteurs rapides, des connecteurs d'alimentation et de signal.

 

▲ Figure 1. Serveur 2U à quatre nœuds refroidi par onde complète

 

2. Présentation du serveur mono-nœud entièrement refroidi par liquide

Le nœud de serveur entièrement refroidi par liquide se compose d'une coque de nœud, d'une carte mère, de puces CPU, de modules de mémoire, d'une plaque froide de mémoire, d'une plaque froide de CPU, d'une plaque froide d'E/S, d'un bloc d'alimentation et de l'échangeur de chaleur arrière pour le bloc d'alimentation.

 

▲ Figure 2. Nœud de serveur entièrement refroidi par liquide

 

 

II Sélection du modèle d'écoulement et calcul du débit

 

Pour simplifier la complexité de la conception du chemin d'écoulement, ce serveur entièrement refroidi par liquide utilise une conception de chemin d'écoulement en série pour le liquide de refroidissement. Le liquide de refroidissement circule des composants à faible puissance vers les composants à haute puissance pour la dissipation de la chaleur. La direction d'écoulement détaillée est indiquée dans le diagramme et le tableau ci-dessous.

 

▲ Chemin d'écoulement en série d'un serveur 2U à quatre nœuds entièrement refroidi par liquide

 

▲ Tableau 3. Séquence de circulation du fluide de refroidissement

 

Le débit du liquide refroidissant entièrementdirigéserveur mdoit répondre aux exigences de refroidissement du système :

• Pour garantir la fiabilité à long terme du matériau de tuyauterie côté secondaire, la température de l'eau de retour côté secondaire ne doit pas dépasser 65 degrés.
• Pour garantir que tous les composants du serveur entièrement refroidi par liquide répondent aux exigences de refroidissement dans les conditions limites définies, une plaque froide en cuivre et PG25 sont sélectionnés pour l'analyse de la conception du débit.

 

Pour répondre à l'exigence selon laquelle la température de l'eau de retour côté secondaire ne dépasse pas 65 degrés, le débit minimum de PG25 par nœud, Qmin, est calculé à l'aide de la formule suivante :

 

Qmin=Psys / (ρ * C * ∆T) ≈ 1,3 LPM

 

 

III Conception des composants clés de la plaque froide du serveur entièrement refroidie par liquide

 

1. Conception de la plaque froide du processeur

Le module de plaque froide du processeur est une conception de référence optimisée en fonction des exigences de conception de la plaque froide du processeur Intel Xeon Scalable de 5e génération. Il prend en compte des facteurs tels que le refroidissement, les performances structurelles, le taux de rendement, le coût et la compatibilité avec différents matériaux. La plaque froide du processeur est principalement composée d'un support en aluminium pour plaque froide du processeur, d'une plaque froide du processeur et de connecteurs pour plaque froide.

 

▲ Figure 4. Module de plaque froide du processeur

 

2. Conception du refroidissement liquide de la mémoire

La conception du refroidissement liquide de la mémoire adopte une solution innovante de refroidissement liquide par dissipateur thermique dormant, nommée d'après les modules de mémoire disposés comme des traverses sur une voie ferrée. Cette solution combine le refroidissement par air traditionnel et le refroidissement par plaque froide. Le dissipateur thermique, qui possède des caloducs intégrés (ou des plaques en aluminium/cuivre pur, une chambre à vapeur, etc.), transfère la chaleur des modules de mémoire aux deux extrémités. La chaleur est ensuite transférée à la plaque froide via des tampons thermiques sélectionnés, et enfin, le liquide de refroidissement à l'intérieur de la plaque froide évacue la chaleur, réalisant ainsi le refroidissement de la mémoire.

 

La mémoire et le dissipateur thermique peuvent être assemblés dans la plus petite unité de maintenance à l'extérieur du système (appelée ci-après module mémoire). La plaque froide de mémoire comporte une structure de fixation du module mémoire pour assurer un bon contact entre le dissipateur thermique et la plaque froide de mémoire. Cette structure de fixation peut être fixée avec des vis ou maintenue sans outils selon les besoins. Le haut de la plaque froide de mémoire refroidit la mémoire, tandis que le bas peut refroidir d'autres composants générateurs de chaleur sur la carte mère, tels que les VR. Pour simplifier la conception de la plaque froide de mémoire, un support adaptateur peut être conçu entre la mémoire et la carte mère pour répondre aux contraintes de hauteur des différentes cartes mères.

 

▲ Figure 5. Solution de refroidissement liquide du dissipateur thermique Sleeper

 

Par rapport aux solutions de refroidissement liquide à mémoire tubulaire existantes sur le marché, la solution de refroidissement liquide à dissipateur thermique dormant présente les principaux avantages suivants :

 

Entretien facile :L'entretien de la mémoire est aussi simple que l'entretien d'un module de mémoire refroidi par air, sans qu'il soit nécessaire de retirer le dissipateur thermique et les fixations. Cela améliore considérablement l'efficacité et la fiabilité de l'assemblage de la mémoire refroidie par liquide, réduisant ainsi les dommages potentiels aux puces de mémoire et aux tampons thermiques lors du démontage et du remontage du système.

 

Bonne compatibilité :Les performances de dissipation thermique de cette solution ne sont pas affectées par les différentes épaisseurs de puces mémoire et l'espacement de la mémoire. Elle est compatible avec un espacement mémoire minimum de 7,5 mm et plus. La conception découplée du dissipateur thermique et de la plaque froide permet la réutilisation et la standardisation du refroidissement liquide de la mémoire.

 

Rentabilité accrue :Le dissipateur thermique de la mémoire peut être sélectionné en fonction de la consommation d'énergie de la mémoire, avec différents processus et technologies de refroidissement, et la quantité peut être configurée selon les besoins en fonction de la mémoire. Dans un scénario d'espacement de mémoire de 7,5 mm, il peut répondre aux besoins de refroidissement des modules de mémoire dépassant 30 W.

 

Facilité de fabrication et d'assemblage :Il n'y a pas de tubes de refroidissement liquide entre les emplacements de mémoire, ce qui élimine le besoin de soudures de tubes complexes et de contrôle de processus. Les processus traditionnels de fabrication de dissipateurs thermiques refroidis par air et de plaques froides de processeur générales peuvent être utilisés. Lors de l'assemblage du dissipateur thermique, les performances de dissipation thermique ne sont pas sensibles aux tolérances entre le dissipateur thermique et la carte mère dans la direction perpendiculaire au plan de la puce mémoire, ce qui évite un mauvais contact thermique et facilite l'assemblage.

 

Bonne fiabilité :La solution de refroidissement liquide Sleeper évite d'endommager les puces mémoire et les tampons thermiques pendant l'assemblage et peut supporter de multiples insertions et retraits. De plus, elle évite le risque de défaillance du contact du signal causé par l'inclinaison entre la mémoire et les emplacements après l'installation des solutions de refroidissement liquide de la mémoire et des tubes, améliorant ainsi considérablement la fiabilité du système.

 

3. Conception du refroidissement liquide du disque dur

La solution innovante de refroidissement liquide pour disque SSD (Solid State Drive) utilise un dissipateur thermique avec caloducs intégrés pour transférer la chaleur de la zone du disque dur vers la plaque froide à l'extérieur de la zone du disque dur par contact direct avec des tampons thermiques, réalisant ainsi un échange thermique.

 

Cette solution de refroidissement liquide SSD se compose principalement d'un module SSD équipé d'un dissipateur thermique, d'une plaque froide SSD, d'un mécanisme de verrouillage du module de disque dur et d'un support de disque dur. Le mécanisme de verrouillage du module de disque dur est fixé sur le support de disque dur pour fournir une force de précharge appropriée, garantissant une fiabilité de contact à long terme entre le module SSD et la plaque froide SSD. Pour faciliter l'installation de la boucle de plaque froide du disque dur dans un espace confiné, le support de disque dur est conçu avec une méthode d'installation de type tiroir dans le sens de la profondeur du serveur.

 

▲ Figure 6. Solution innovante de refroidissement liquide pour disques SSD

 

Les fonctionnalités avancées de cette solution par rapport aux tentatives de refroidissement liquide des disques durs existantes dans l'industrie incluent :

 

• Prend en charge plus de 30 échanges à chaud sans mise hors tension du système.
• Aucun risque de cisaillement des matériaux de l'interface thermique lors de l'installation du disque dur ; la conception du mécanisme de verrouillage garantit une fiabilité de contact à long terme.
• Faibles exigences de traitement pour la solution de refroidissement liquide ; seules les techniques traditionnelles de refroidissement par air et de traitement par plaque froide du processeur sont nécessaires.
• Aucune conception d'eau entre les disques durs ; plusieurs disques durs peuvent partager la même plaque froide, réduisant ainsi le nombre de joints et diminuant le risque de fuites.
• S'adapte de manière flexible aux systèmes avec différentes épaisseurs et quantités de disques SSD (Solid State Drives).

 

4. Conception du refroidissement liquide de la carte PCIe/OCP

 

Solution de refroidissement liquide PCIe

La solution de refroidissement liquide de la carte PCIe est basée sur la carte PCIe refroidie par air existante. Elle permet de refroidir le module optique et les puces principales de la carte PCIe en développant un module de refroidissement de carte PCIe qui peut entrer en contact avec la plaque froide du système. La chaleur du module optique est transférée via des caloducs au module de refroidissement principal de la puce de la carte PCIe, et le module de refroidissement échange ensuite de la chaleur avec la plaque froide d'E/S via un matériau d'interface thermique approprié.

 

La carte PCIe à refroidissement liquide se compose principalement d'un clip de dissipateur thermique QSFP, d'un module de refroidissement de puce PCIe et de la carte PCIe elle-même. Le clip de dissipateur thermique QSFP est conçu avec une élasticité appropriée pour assurer une flottaison appropriée lorsque le dissipateur thermique QSFP et la cage du module de refroidissement PCIe sont accouplés, offrant une bonne expérience utilisateur, évitant d'endommager le module optique et garantissant un contact stable pour un refroidissement efficace.

 

▲ Figure 7. Module de refroidissement liquide de la carte PCle

 

Solution de refroidissement liquide OCP3.0

La solution de refroidissement liquide de la carte OCP3.0 est similaire à la carte PCIe, où un dissipateur thermique refroidi par liquide personnalisé est utilisé pour la carte OCP3.0. La chaleur générée par les puces de la carte est transférée au dissipateur thermique refroidi par liquide, et la chaleur est finalement dissipée par contact entre le dissipateur thermique et la plaque froide d'E/S du système.

 

Le module de refroidissement liquide OCP3.0 se compose principalement du module dissipateur thermique, de la carte OCP3.0 et de son support. En raison des contraintes d'espace, une vis à ressort est utilisée comme mécanisme de verrouillage pour garantir la fiabilité du contact à long terme entre le module dissipateur thermique et la plaque froide d'E/S après l'assemblage de la carte OCP3.0 refroidie par liquide.

 

▲ Figure 8. Module de refroidissement liquide OCp3.0

 

Compte tenu de la facilité de maintenance future et de la nécessité de multiples échanges à chaud de la carte OCP3.0, la conception du mécanisme de verrouillage et la sélection des matériaux d'interface thermique ont été optimisées pour améliorer la fiabilité globale et la facilité d'utilisation et de maintenance.

 

Solution de plaque froide IO

La plaque froide IO est une plaque froide multifonctionnelle qui non seulement dissipe la chaleur des composants chauffants dans la zone IO de la carte mère, mais refroidit également la carte PCIe refroidie par liquide et la carte OCP3.0 refroidie par liquide.

 

▲ Figure 9. Plaque froide lO

 

▲ Figure 10. Position de la carte PCle refroidie par liquide, de l'OCP3.0 refroidi par liquide et de la plaque froide d'E/S

 

La plaque froide d'E/S se compose principalement du corps de la plaque froide d'E/S et des canaux de tubes en cuivre. Le corps de la plaque froide d'E/S est en alliage d'aluminium, tandis que les tubes en cuivre sont responsables des canaux de fluide de refroidissement et améliorent la dissipation de chaleur. La conception spécifique doit être optimisée en fonction de la disposition de la carte mère et des exigences de refroidissement des composants. Les modules de dissipateur thermique de la carte PCIe refroidie par liquide et de la carte OCP3.0 refroidie par liquide entrent en contact avec la plaque froide d'E/S dans le sens de la flèche. Le choix du matériau pour les canaux de fluide de refroidissement doit tenir compte de la compatibilité avec le fluide de refroidissement du pipeline du système et les matériaux mouillants.

 

Cette solution de refroidissement liquide à plaque froide IO répond aux exigences d'assemblage multidimensionnel de plusieurs composants. L'utilisation mixte de matériaux en cuivre et en aluminium résout les problèmes de compatibilité des matériaux, garantit l'efficacité du refroidissement, contribue à réduire le poids de la plaque froide de 60 % et réduit les coûts.

 

5. Conception de la plaque froide de l'alimentation électrique

La solution de refroidissement liquide du bloc d'alimentation consiste à refroidir l'air d'échappement du ventilateur du bloc d'alimentation en connectant un échangeur de chaleur air-liquide externe au bloc d'alimentation refroidi par air existant, réduisant ainsi le préchauffage du système de l'environnement externe du centre de données.

 

L'échangeur de chaleur arrière du bloc d'alimentation présente une structure multicouche, avec des canaux et des ailettes empilés les uns sur les autres. La taille de l'échangeur de chaleur arrière du bloc d'alimentation doit équilibrer les besoins de refroidissement, le poids et le coût tout en garantissant qu'il n'interfère pas avec la fonction d'insertion/retrait du cordon d'alimentation et qu'il répond aux contraintes d'espace de l'armoire système. L'échangeur de chaleur arrière du bloc d'alimentation est monté indépendamment sur le support de nœud.

 

▲ Figure 11. Échangeur de chaleur arrière du bloc d'alimentation

 

Cette solution innovante de refroidissement liquide pour alimentation électrique élimine le besoin de développer de nouvelles alimentations refroidies par liquide, raccourcissant ainsi le cycle de développement et réduisant les coûts de développement. Son excellente polyvalence lui permet de s'adapter de manière flexible aux solutions d'alimentation de plusieurs fournisseurs, économisant ainsi plus de 60 % par rapport aux alimentations refroidies par liquide personnalisées.

 

Pour les applications impliquant des armoires entières, le refroidissement liquide de l'alimentation peut également utiliser une solution d'échangeur thermique air-liquide centralisé. Cela implique de sceller les portes avant et arrière de l'armoire et de placer un échangeur thermique air-liquide centralisé au bas de l'armoire, remplaçant la structure d'échangeur thermique air-liquide distribuée derrière le bloc d'alimentation par une structure centralisée.

 

L'échangeur de chaleur air-liquide centralisé est constitué d'ailettes ondulées en aluminium recouvertes d'une couche hydrophile pour améliorer l'échange de chaleur, combinées à des tuyaux en cuivre à coefficient de transfert de chaleur élevé. Il peut fournir au moins 8 kW de capacité de refroidissement avec une différence de température de 10 degrés. Le trajet d'écoulement de l'échangeur de chaleur est optimisé par simulation pour gérer plus de débit à faible résistance. Il présente une conception anti-condensation et une détection complète des fuites pour éliminer les risques de sécurité. Une conception de charnière spéciale répond aux exigences de charge élevée et une conception de connexion à fente pour carte facilite l'installation et la maintenance.

 

Avec plus de 95 % de la chaleur d'un seul serveur refroidi par liquide gérée par la plaque froide, moins de 5 % de la chaleur doit être traitée par l'échangeur de chaleur air-liquide. Chaque nœud ne nécessite que 40-50 W d'échange de chaleur air-liquide, et un seul échangeur de chaleur air-liquide centralisé prend en charge une capacité d'échange de chaleur de 8 kW, permettant de refroidir pas moins de 150 nœuds, à un coût bien inférieur à celui de 150 échangeurs de chaleur air-liquide distribués.

 

Cette solution permet de conserver les alimentations du serveur inchangées, la chaleur générée étant collectée et échangée de manière uniforme par l'échangeur de chaleur air-liquide centralisé à l'arrière de l'armoire. La chaleur forme une circulation autonome au sein de l'armoire, n'ayant aucun impact sur l'environnement du centre de données, réalisant ainsi véritablement le concept « Rack as a computer ».