ディスクもメモリもアホほど食うが、動かなくはないってのが驚き。
i7-9800x, 128gb ram, quadro p6000x2 (24gbx2 vram) wsl2 Ubuntu24.04 ollama
$ ollama ls
NAME ID SIZE MODIFIED
qwen3:235b-a22b cf5635fabe3c 142 GB 6 minutes ago$ ollama run qwen3:235b-a22b
>>> 自己紹介してください。
Thinking...
The request is asking me to introduce myself in Japanese. I'll provide a brief
self-introduction in Japanese, explaining that I'm an AI language model developed by
Alibaba Cloud.
I'll respond in Japanese since the request was made in Japanese:
...done thinking.
こんにちは！私はアリババクラウドが開発した大規模言語モデルのQwenです。私の目的は、ユー
ザーが情報を入手したり、質問に答えたり、物語や文書、メール、脚本などの文章を作成したり
、意見を表現したりできる、多用途なアシスタントとなることです。新しい知識を学んだり、問
題を解決したり、ただ誰かと会話したい場合でも、喜んでお手伝いいたします。私は継続的な学
習と進化を通じて、幅広い分野であなたをサポートできるよう努めています。何か私にお手伝い
できることがありますか？
>>> Send a message (/? for help)秒速2トークンくらい。まったく実用的ではないので32bでなんとかしよう。
$ ollama ps
NAME ID SIZE PROCESSOR UNTIL
qwen3:235b-a22b cf5635fabe3c 151 GB 68%/32% CPU/GPU 4 minutes from now
$ nvitop
Tue Jun 17 15:52:08 2025
│ NVITOP 1.5.1 Driver Version: 573.24 CUDA Driver Version: 12.8 │
│ GPU Name Persistence-M│ Bus-Id Disp.A │ Volatile Uncorr. ECC │
│ Fan Temp Perf Pwr:Usage/Cap│ Memory-Usage │ GPU-Util Compute M. │
│ 0 Quadro P6000 On │ 00000000:17:00.0 Off │ N/A │ MEM: ███████████████████████▏ 79.9% │
│ 26% 51C P5 18W / 250W │ 19643MiB / 24.00GiB │ 40% Default │ UTL: ███████████▋ 40% │
│ 1 Quadro P6000 On │ 00000000:65:00.0 Off │ N/A │ MEM: ████████████████████████▌ 84.6% │
│ 26% 57C P5 17W / 250W │ 20.31GiB / 24.00GiB │ 34% Default │ UTL: █████████▉ 34% │
│ 2 Quadro P620 On │ 00000000:B3:00.0 Off │ N/A │ MEM: ████████████▊ 44.1% │
│ 45% 55C P8 N/A / N/A │ 902.3MiB / 2048MiB │ 2% Default │ UTL: ▋ 2% │
[ CPU: ███████████████████████████▍ 39.1% UPTIME: 42:02 ] ( Load Average: 5.48 4.77 4.47 )
[ MEM: ███████████████████████████████████████████████████████████▉ 85.6% ] [ SWP: ▏ 0.0% ]