Új hozzászólás Aktív témák

  • Abu85

    HÁZIGAZDA

    válasz Albus_D #63952 üzenetére

    Ott azért nagyon sokáig ment az AMD és az NV között az adok-kapok. Amit az NV bemutatott az nem alma-alma összehasonlítás, hanem alma-körte. Az NVIDIA a saját hardverét nem ugyanazokkal az adattípusokkal etette, amivel az AMD hardverét. Ezért tudnak gyorsabbak lenni, de azt az adattípust az MI300X is támogatja, amire az AMD úgy reagált, hogy ha azzal etetné az NV a tesztjén, akkor hasonló eredményt érne el az Instinct MI300X is.

    Utána a médiának még flancolt a két cég, majd ott szűnt meg a sajtó felé is faszméregetés, amikor az AMD megírta, hogy megkérték az NV-t, hogy küldjék a hardvereket független tesztlaborba. Az NV ezután nem reagált többet.

    Tanulság...ne higgy a gyártók tesztjeinek.

    Egyébként itt az alapvető probléma az NV részéről az volt, hogy az AMD kihasználta, hogy a H100-on csak 80 GB memória van, és abba befér egy Llama 2 70B, de csak akkor, ha az adattípus FP8. Ez paraméterenként ugye 8 bit, azaz 1 bájt. De ezért erőltette az AMD a tesztjében az FP16-os adattípust, mert nincs elég memóriája hozzá a H100-nak. Az MI300X-en viszont 192 GB van, ott még paraméterenként 2 bájttal is bőségesen elfér a Llama 2 70B.

    [ Szerkesztve ]

    Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.

Új hozzászólás Aktív témák