Új hozzászólás Aktív témák

• #1782 S_x96x_S addikt 5leteseN #1780

  Új Válasz 2025-03-04 06:00:29 #1782

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz 5leteseN #1780 üzenetére

  > Például: egy 10GB-os LLM mekkora VRAM-ot igényel összesen?

  attól függ.

  pl.
  https://huggingface.co/spaces/NyxKrage/LLM-Model-VRAM-Calculator
  pl. egy Qsen2.5-14B-Instruct - Q4_K_S -el 8192 Context -el
  ami -->
  7.88 GB model size ( + 2.16 GB Context Size ) = 10.04GB Total Size

  

Új hozzászólás Aktív témák