Prodavnica AI hardvera
Pregledajte mini računare, NAS uređaje, radne stanice, servere i edge AI hardver — svaki sistem može biti uparen sa uslugom instalacije i softverskim inovacijama od ⏻ On Intelligence.
| Фотографија | Производ | Цена | Капацитет |
|---|
Објашњење капацитета модела
Капацитет модела се односи на број параметара у AI моделу (нпр. 70B = 70 милијарди параметара). Већи модели обично захтевају више меморије и рачунске снаге, али могу пружити побољшано резоновање и квалитет излаза.
Прецизност (FP16 / FP8 / FP4) утиче на количину меморије коју захтева одређени капацитет модела: формати ниже прецизности отприлике преполове захтеве за меморијом по сваком степену смањења (FP16 → FP8 → FP4), уз одређени губитак на прецизности излаза.
| Величина модела | Типична меморија (FP16) | Типична меморија (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |