浸漬冷却と冷却直接-トゥー-チップ冷却: 配管仕様にとっての意味

はじめに: 遅すぎた決断

ほとんどのデータセンター エンジニアは、ラック密度の目標と資本予算に基づいて、冷却技術を-浸漬または直接--チップ-に選択します。配管仕様は後から作成され、多くの場合、設計要因ではなく実行の詳細として扱われます。その順序付けは間違いです。

選択した冷却アーキテクチャに基づいて構築した流体システムは互換性がありません。直接-対-チップ（D2C）コールドプレート冷却-用に書かれた配管仕様は、単相浸漬に改造すると文字通りにも動作的にも-失敗します-、またその逆も同様です。 GPU のラック密度が日常的に 50 kW を超え、AI ワークロードがラックあたり 100 kW に近づいているため、回路図設計段階でパイプの仕様を適切に把握することはもはやオプションではありません。 D2C システムで 1 つのリークが発生すると、GPU ハードウェアが搭載された 40 万ドルのラック全体が数秒でダウンする可能性があります。

このガイドは、冷却アーキテクチャをすでに決定しており（または決定中）、その選択を防御可能な ASHRAE{0}} 準拠の配管仕様に変換する必要がある機械および配管エンジニアを対象に書かれています。

 

 

直接チップ液冷データセンター GPU ラック CDU

 

1. 2 つのアーキテクチャ、2 つの完全に異なる流体ループ ロジック

パイプスケジュールに触れる前に、浸漬冷却と D2C は根本的に異なる油圧原理で動作することを理解してください。

直接{0}}チップ-へ（D2C）液体 - は通常、脱イオン水または水-グリコール ブレンド - を、CPU、GPU、ASIC に直接取り付けられたコールド プレートを通して循環させます。熱はチップ表面で吸収され、冷却分配ユニット (CDU) に運ばれ、放熱水システムと熱が交換されます。その結果、小径パイプ、マニホールド、クイック切断継手、コールド プレートの高密度で加圧されたネットワークが形成されます。これらはすべて、油圧バランスで同時に機能する必要があります。-

単相浸漬冷却-サーバーボード全体を、タンク内の誘電性流体 - (通常は合成炭化水素または人工流体) - に浸します。熱はすべてのコンポーネントから流体に伝達され、その後外部の熱交換器を介してポンプで送られます。外部パイプ ネットワークは最小限であり、基本的にタンクごとに 2 つの接続 (供給と戻り) が CDU または施設の冷却ループに接続されています。

アーキテクチャの違いは明らかです。D2C は、ラックごとに数十の接続ポイントに油圧の課題を分散します。浸漬により、それがシンプルな低圧の外部ループに統合されます。-配管仕様の下流のすべては、この区別に基づいて流れます。

 

2. パイプ材料の選択: ASHRAE が境界を設定する場所

ASHRAE TC 9.9 および TC 9.6 は、材料の互換性について明示的に規定しています。 D2C 水ベースの冷却ループ-の場合、ガイダンスでは、15% を超える亜鉛を含む亜鉛、アルミニウム、真鍮 - を禁止しています。これらはすべて、処理水の存在下で電解腐食を促進します。実際的には、これにより、HVAC 温水システムで依然として一般的である標準的な黄銅継手や亜鉛メッキ鋼管が除外されます。

テクノロジー冷却システム (TCS) ループの場合、- コールド プレートに直接サービスを提供する 2 次ループ -304 または 316 ステンレス鋼が標準仕様です。 TCS ループには通常、脱イオン水または高度に処理された水が流れますが、緩衝能力がほとんどないため、実際には都市水よりも腐食が進行します。各ラックの遮断バルブは、システムの動作圧力に合わせて定格され、316 ステンレスで製造されており、日常のメンテナンスと緊急時の漏れ遮断の両方に必要です。

浸漬冷却の場合、材料の課題は完全に変わります。誘電性流体はほとんどの金属に対して化学的に不活性ですが、エラストマーを攻撃的に攻撃します。-HVAC 用途で使用される標準の EPDM および Buna{2}N ガスケットは、炭化水素ベースの誘電性流体と接触すると数か月以内に膨張して劣化します。-。配管材料自体 (ステンレス、炭素鋼) は一般に互換性がありますが、すべてのガスケット、O- リング、および外部ループのフレキシブル接続は、使用する特定の流体に対して定格の PTFE またはフッ素ポリマー材料として指定する必要があります。

 

3. パイプのサイズ、流速、圧力損失

ASHRAE TC 9.6 は、最大流体速度を次のように設定します。パイプ直径が 3 インチを超える場合は 2.1 m/s継手や曲げ部の浸食を防ぎます。 3 インチ未満では、ノイズと浸食のリスクが許容できないほど増加する前に、実際の限界は 1.5 ～ 1.8 m/s に近づきます。これらの制限は両方の冷却アーキテクチャに適用されますが、サイジングの結果は大きく異なります。

D2C システムでは、流量は各コールド プレートの熱負荷によって決まります。チップの TDP (熱設計電力) が増加すると、-最新の H100 GPU は 700W TDP で動作し、次世代アクセラレータでは 1,000 W と予測されています+ -。コールド プレートあたりのフロー需要も比例して増加します。 D2C 冷却を備えた 50 kW ラックでは、ラック マニホールドで 8 ～ 16 個の個別のコールド プレートに分散された 1 分あたり 8 ～ 12 リットルの冷却剤が必要となる場合があります。これにより、慎重な油圧バランスの必要性が高まります。並列に配置されたコールド プレートは流れを均等に共有する必要があります。そうしないと、最も高温のチップ - (通常はマニホールド ブランチの端にあるチップ -) の冷却能力が不足してしまいます。

浸漬システムでは、外部パイプ ループがタンク全体の熱負荷を運びますが、タンク内の駆動機構は強制的な高圧の流れではなく、対流と低速ポンピングであるため、速度と圧力ははるかに低くなります。{0}{1}} 250 kW の浸漬タンクでは、通常、システム圧力が 2 ～ 3 bar を超えることはほとんどなく、外部熱交換器ループを通じて毎分 20 ～ 30 リットルしか必要としません。

頭上配線か床下配線かの決定もサイジングに影響します。 ASHRAE のガイダンスでは、床下のパイプ配管では断熱材の厚さとパイプの交差クリアランスを考慮する必要があると記載しています。-断熱材のラップを考慮する場合、パイプの直径に 50 mm を追加することは、上げ床タイルのレイアウトとの調整の矛盾を引き起こすよくある計画ミスです。-

 

4. 隔離バルブ、ストレーナ、およびリーク制御: 稼働時間を保護する仕様の詳細

これは、配管の仕様が運用の回復力を直接決定する場所であり、ほとんどの仕様文書が保証される場所です。

D2Cシステム向け、各ラックには、供給脚と戻り脚の両方に隔離バルブが必要で、これにより、隣接するラックをシャットダウンすることなく、単一のラックを隔離してメンテナンスのために排水できるようになります。この用途に推奨されるバルブのタイプは、3ピースねじ付きボールバルブ304 または 316 ステンレス鋼製。ここでは、3 ピースの本体設計が重要です。1 ピースまたは 2 ピースのバルブとは異なり、パイプを切断したり、シールを交換したりシートを清掃したりするためにパイプを切断したり、ラインからバルブ本体を取り外したりすることなく、- の位置で分解できます。-。ラックのダウンタイムを最小限に抑えることが最優先であるライブ データセンター環境では、このインライン保守性は、仕様上の贅沢ではなく、運用上の有意義な利点です。{9}}

各ラック マニホールドの上流には、コールド プレート マイクロ チャネルを粒子汚染から保護するために、ステンレス鋼の Y ストレーナが必要です。{0}}高性能 GPU のコールド プレート ジオメトリでは、0.5 ～ 1.0 mm という狭いチャネル幅が使用されます。- 200 ミクロンの粒子はチャネルを部分的にブロックし、局所的なホット スポットを生成する可能性があり、チップ スロットルが開始されるまで熱モニタリングが検出できない可能性があります。 ASHRAE TC 9.9 水質ガイドラインに従って、TCS ループのメッシュ評価が 50 ミクロン以上の細かいストレーナを指定します。

リターンレッグでは、ステンレス鋼の逆止弁が、ラックが分離されているとき、またはポンプが作動したときの CDU 熱交換器を通る逆流を防止します。-逆流イベントにより、供給ヘッダーに温かい流体が導入され、制御が応答する前に列全体の冷媒温度が上昇する可能性があります。

サーバー-と-の接続では、OCP（Open Compute Project）接続標準に従って、切断サイクルごとに最大許容流出量が 1 立方センチメートルの乾式-ブレーククイック切断-継手を指定してください。これらの接続部のフレキシブル ホース セグメントは、たるみによる圧力降下や取り付けネジへの応力を防ぐために、150 mm 間隔で追加のクランプで固定する必要があります。{7}}

液浸システム用、絶縁仕様はより単純ですが、簡単ではありません。各タンクには、タンクの満杯流量に合わせたサイズの供給および戻り遮断バルブと、流体品質監視用のサンプル ポートが必要です。特定の誘電性流体と互換性のある材料で外部ループ接続を指定します - 独自の流体配合が異なるため、仕様を最終決定する前に流体供給業者に書面で互換性を確認してください。

漏れ検出ケーブルは、すべての D2C 供給配管の全長に沿って配線し、各パイプ トレイまたはケーブル トレイのアクセス可能な最も低い位置に配置する必要があります。浸漬システムの場合、外部パイプ接続が少なく視認性が高いことを考慮すると、各タンク底部と CDU にポイントセンサーの漏れ検出器を設置すれば十分です。-

 

 

Leadtek 3 ピースねじ付きボールバルブ

 

5. 建設のために発行する前の実用的な仕様チェックリスト

配管仕様がエンジニアリング チームから渡される前に、選択した冷却アーキテクチャに対して以下を確認してください。

マテリアルコンプライアンス: すべての接液金属には亜鉛およびアルミニウム合金 (D2C) が含まれていないことが確認されています。すべてのエラストマーは誘電性流体化学（浸漬）に適合することが確認されています

速度チェック: 直径 3 インチ以上のパイプで最大 2.1 m/s、ASHRAE TC 9.6 に準拠

遮断弁: ラックごとに 1 つの 3 ピースねじ付きボールバルブ、供給と返却、インライン保守性 (D2C) を備えています。-

ストレーナーの定格: TCS 供給上の 50 ミクロン以下のメッシュ、各ラック マニホールド (D2C) の上流

逆止弁の配置: CDU リターンレッグ、各ラックリターンブランチ (D2C)

クイック切断仕様-: ドライ-破損、流出1cc以下、OCP-準拠（D2C）

漏れ検出: すべての供給経路での連続ケーブル (D2C)。タンクベースとCDUのポイントセンサー（浸漬）

床下クリアランス: パイプ外径プラス断熱材プラス50mmクロスオーバークリアランスを床ボイドモデルで確認

水処理計画: システム充填前にサイト固有の化学プログラムが実行され、継続的な監視プロトコルが指定されています-

 

結論: 冷却アーキテクチャに適合するパイプ システムを指定するのではなく、その逆ではない

冷却技術の決定と配管の仕様は連続したステップではありません - それらは単一の統合されたエンジニアリング上の決定です。浸漬冷却と D2C 冷却のどちらを選択するかによって、流体システム全体の油圧ロジック、材料制約、隔離戦略、および漏れリスク プロファイルが決まります。一般的な HVAC 温水パイプの仕様をどちらかのアーキテクチャに適合させようとすると、システムの運用パフォーマンスが低下し、不必要なメンテナンスの負担が発生します。

冷却アーキテクチャの選択と並行して、回路図設計時に配管仕様を決定します。ベースライン コンプライアンス フレームワークとして ASHRAE TC 9.6 および TC 9.9 を使用し、一般的な「水」の仮定ではなく、システム内の実際の流体化学に照らしてすべての材料選択を検証してください。-。仕様段階で遮断弁のタイプとストレーナメッシュの定格を正しく決定するのに 30 分を費やすことで、将来のダウンタイムが 30 分よりも大幅に節約されます。

 

よくある質問

Q: 標準の HVAC 炭素鋼パイプをチップへの直接冷却ループに使用できますか?{0}{1}

炭素鋼は施設側（FWS）の冷水ループに使用されていますが、コールド プレートに直接機能するテクノロジー冷却システム（TCS）ループには適していません。 TCS ループには、イオン含有量が低い高度に精製された水が流れます。この水は、HVAC 処理水よりも炭素鋼に対する腐食性が高くなります。すべての TCS ループ配管および継手には 304 または 316 ステンレス鋼を指定してください。

Q: CDU メーカーがコールド プレート ベンダーとは異なるパイプ接続サイズを指定しているのはなぜですか?

CDU とコールド プレートは、多くの場合、異なるメーカーから供給されており、異なる内部流動抵抗の仮定に基づいて設計されています。接続サイズの不一致は、油圧バランスの問題です。CDU が 2 bar で 10 L/min を想定し、コールド プレートがチップ ジャンクション温度を維持するために合計 14 L/min を必要とする場合、どちらのベンダーの仕様も間違っています - システム設計がそれらを調整していません。接続のサイジングを最終的に決定する前に、CDU 出口から各コールド プレートとその逆に至る完全な TCS ループの水圧モデルを完成させる必要があります。

Q: D2C 冷却ループの Y ストレーナはどのくらいの頻度で掃除する必要がありますか?

運転開始から最初の 90 日間は、ストレーナー バスケットを毎月検査してください。- 新しい配管システムでは、パイプのコーティングが硬化し、継手が落ち着くにつれて微粒子が排出されます。継続的な水質モニタリングを行う閉ループ システムでは、慣らし期間の後は通常、四半期ごとの検査で十分です。- CDU にストレーナ全体の差圧センサーが組み込まれている場合は、クリーン バスケットのベースラインとして 0.3 bar デルタ-P でアラームを設定します。-

Q: 浸漬冷却配管はD2Cよりも指定が簡単ですか?

浸漬冷却用の外部パイプ ネットワークは大幅に簡素化されており、- 接続ポイントが減り、圧力が低くなり、ラック レベルのマニホールド分配が不要になります。-ただし、システム内のすべてのエラストマー、ガスケット、およびフレキシブル コネクタについて誘電性流体の適合性を検証する必要があるため、材料の仕様はより複雑になります。液浸システムにおける材料の適合性の誤りによる故障モードは、時間がかかり検出が困難です。つまり、D2C システムが発生する即時かつ目に見える漏れ現象ではなく、12 ～ 18 か月にわたるシールの劣化、その後の段階的な液体の損失と汚染です。

Q: 上げ床の下に D2C 冷却パイプを通すために必要な床の最小隙間の高さはどれくらいですか?

ASHRAE のガイダンスは、パイプの直径、断熱材の仕様、パイプが相互に交差するかどうかに依存するため、普遍的な最小値を設定するものではありません。実際の計画ルールは、配管内の最大のパイプ外径に加えて、すべての側面に 75 mm の断熱材を追加し、クロスオーバー パイプ用に上に 50 mm のクリアランスを追加し、サポート用に下に 25 mm のクリアランスを考慮することです。 25 mm の断熱材を備えた 4- インチの電源主管の場合、これにより、床の最小空隙は約 300 mm - となり、従来の高床式データセンターで一般的な 250 mm の空隙よりも大きくなります。これは、早期に特定する価値のある改修上の制約です。