2. Fórumok
  3. Infotech
  4. Mesterséges intelligencia topik

Új hozzászólás Aktív témák

  • #1399 S_x96x_S addikt Lokarson #1395
    Új Válasz #1399
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    S_x96x_S

    addikt

    válasz Lokarson #1395 üzenetére

    > A 780M-re még nincs rendes GPU támogatás? (Ezt is néztem egyébként.)

    Amire nekem eredetileg kellet ( linux-os tesztelésre - CPU ) arra tökéletes,
    de LLM-re nem éppen az ideális.
    És még csak phoneix -es, vagyis max 16GB VRAM-ot lehet lefoglalni a BIOS-ban,
    hiába teszel bele 64Gb vagy 96 GB-ot.
    Az NPU -ja is elég gyenge 10 TOPS - körüli, és még mindig nincs rendes NPU driver hozzá
    ( talán tavaszra az ubuntu 25.04 -hez elkészül )

    CPU mód - ahol nincs limitálva a max 16GB VRAM ollama v0.4.1 -el ;
    qwen2.5:32b (19GB) ; teszt

    működik, de lassú ~ 3 token/sec

    """
    # ollama run qwen2.5:32b --verbose
    >>> hello
    Hello! How can I assist you today? Feel free to ask me anything or let me know if you need help with something specific.
    total duration: 13.469038112s
    load duration: 20.152589ms
    prompt eval count: 30 token(s)
    prompt eval duration: 3.839s
    prompt eval rate: 7.81 tokens/s
    eval count: 28 token(s)
    eval duration: 9.293s
    eval rate: 3.01 tokens/s
    """

    És egy kisebb modell : llama3.2:3b ( 2.0 GB ) ~ 10x gyorsabb.
    """
    # ollama run llama3.2:3b --verbose
    >>> hello
    Hello! How can I assist you today?
    total duration: 703.077948ms
    load duration: 12.920342ms
    prompt eval count: 26 token(s)
    prompt eval duration: 338ms
    prompt eval rate: 76.92 tokens/s
    eval count: 10 token(s)
    eval duration: 350ms
    eval rate: 28.57 tokens/s
    """

    - majd GPU módban is igyekszem tesztelni ( valamikor )
    - és talán zen4 - optimalizált CPU fordítást is kipróbálok ( valamikor )

    ----------------
    Az újabb Strix-esek jobbak lesznek:
    "AMD Strix Point APUs Upgraded To Support Faster LPDDR5X-8000 Memory, Same For Krackan Point, Strix Halo To Get 96 GB Memory"

Új hozzászólás Aktív témák