APNの活用に向けたDisaggregated Inferenceの検証 / 露崎 浩太(NTTドコモビジネス)
- labs-admin
- 2025年10月31日
- 読了時間: 1分
12月5日（金）15:05-15:25
APNの活用に向けたDisaggregated Inferenceの検証
AIエージェントなどLLMの活用が進む中、LLMの計算におけるPrefill、Decodeという2つのフェーズを別々のGPUで実行することでパフォーマンスを向上させるDisaggregated Inferenceという技術が注目を集めています。
本発表ではDisaggregate InferenceフレームワークであるNVIDIA Dynamoと本技術を分散データセンタで実現するための基礎検証結果について紹介します。
露崎 浩太 / Kota Tsuyuzaki
NTTドコモビジネス株式会社 イノベーションセンター 担当課長
