UN HOMELABBER FAIT TOURNER UN MODÈLE IA DE 2 800 MILLIARDS DE PARAMÈTRES SUR DE LA MÉMOIRE OPTANE
Un passionné de homelab a réussi à faire tourner le modèle géant Kimi K3 de 2 800 milliards de paramètres sans aucun GPU, en s'appuyant uniquement sur un processeur Xeon à 40 cœurs et des barrettes Intel Optane PMem 200 d'occasion. Pour contourner les 610 Go de mémoire requis, l'astuce repose sur le mode App Direct, tout en exigeant une ventilation dédiée pour éviter la surchauffe de la RAM voisine.
