模型試験記録

VRAM十四点二ギガバイトに到達。四十七トークン毎秒、継続運転。六時間の負荷試験、異常なし。四ビット量子化の雑音、推論に影響せず。

八層をCPUに移動。二十三トークン毎秒、遅延あり。CODE生成、C++/Pythonにて優秀。Rust試験、文脈長の制限により失敗。能力の問題に非ず。

二十四B、圧縮なしで運転。四十八ギガバイト、完全活用。八九トークン毎秒 — 最高記録。Chain-of-thought、全圧縮モデルを超越。NVLink、遅延無視可能。