/images/logo.png

【自宅サーバー勢向け】 RTX 4090とRTX 4000 AdaでVRAMに乗らないMoE LLMを動かし比べてみた話 【ローカルLLM】

手元の開発用 Linux サーバーに RTX 4090 と RTX 4000 Ada の2枚が挿さっているので、VRAM に乗りきらない大きな MoE モデルを、どの推論エンジンでどれくらいの速度で動