L'intelligence artificielle est sur les lèvres de chacun depuis des années et les fabricants tels que Nvidia gagnent beaucoup d'argent avec du matériel conçu sur eux.
Le dernier Chip Blackwell B200 pour les clients de formation d'IA coûte probablement environ 30 000 $ à 40 000 $, tels queOrdinateurMalgré une certaine relativisation du PDG de Nvidia, Jensen Huang.
Au lieu de cela, s'il s'agit du calcul local des demandes d'IA, une équipe de chercheurs de l'Université d'Oxford a maintenant obtenu un succès remarquable avec un matériel très ancien et lent (viaTechspot).
C'est arrivé:
- L'organisation Exo Labs fondée par les chercheurs d'Oxford en question adivisé une vidéo à x. Il montre un PC avec Pentium II avec 350 MHz, 128 Mbyte RAM et Windows 98, sur lequel un modèle d'IA s'exécute avec succès.
- Selon le TechSpot, c'est un
Modèle de langue IA puissant
Basé sur le code LLAMA2.c. Dans ce cas, il raconte la demande très rareSleepy Joe a dit
Une courte histoire raisonnablement cohérente (sinon vraiment sensée), et cela assez rapidement. - Le modèle se compose d'un total de 260 000 paramètres, qui ont été calculés par l'ancien PC à une vitesse de 39,31 jetons par seconde. Si un modèle avec un milliard de paramètres est utilisé, il n'est que de 0,0093 jetons par seconde.
Que sont les jetons?Entre autres choses, ils sont utilisés comme SIDA lorsqu'ils traitent avec l'IA avec le langage naturel. Pour le dire simplement, démontez le texte dans de meilleures parties à traiter comme les mots, les parties de mots ou les marques de ponctuation et les lettres individuelles.
Plus ces parties ou jetons individuels par seconde peuvent traiter une IA, plus il répond rapidement aux demandes.
Dans ce qui suit, vous trouverez le libellé exact (anglais) du texte créé par l'IA sur le PC Windows 98:
Sleepy Joe a dit: "Bonjour, Spot. Tu veux faire attention avec moi?" Spot a dit à Spot: "Oui, je vais prendre du recul!" Spot a répondu: "J'ai perdu ma cassure cassée dans mon rocher froid. C'est bon, tu ne peux pas." La cuillère et le spot sont allés au sommet du rocher et ont tiré son rocher brisé. Spot était triste parce qu'il n'avait plus de chance. Spot a réfléchi un instant et a cherché un endroit. Il a dit: "Ne vous inquiétez pas, cuillère, vous pouvez faire vos morceaux de porte cassés pour n'importe qui aujourd'hui.
Certainement rien avec lequel un fournisseur d'IA actuel rentrerait chez lui. Compte tenu des ressources matérielles mal limitées qui ont été utilisées ici, elle est toujours remarquable.
Quel est l'objectif des chercheurs?
Selon TechSpot, EXO Labs veut accéder à KIdémocratiser
. Des exigences matérielles relativement faibles pourraient apporter une contribution importante.
Fondamentalement, deux zones différentes mais étroitement continues doivent être prises en compte:
- D'une part, la formation de modèles d'IA appropriés pour créer la base nécessaire aux demandes de renseignements à une IA.
- D'un autre côté, éditer les demandes d'utilisateurs pertinentes à l'aide de ces modèles d'IA.
Dans les deux cas, les exigences matérielles les plus basses possibles sont souhaitables, à la fois pour les obstacles à faible entrée et en vue des besoins énergétiques requis.
Il reste à voir dans quelle mesure les recherches supplémentaires sur les laboratoires EXO peuvent apporter une contribution décisive.
