Un objectif d’entraînement rapporté n’est pas la fiche d’un modèle terminé. Dix mille milliards de paramètres impressionnent, mais ce nombre ne classe pas les capacités.
Conserver l’attribution
Le reportage du Financial Times du 7 août, également référencé sur Yahoo, décrit un entraînement ByteDance à ses débuts, jusqu’à 10 000 milliards de paramètres, selon trois personnes informées. L’extrait accessible précise que la taille exacte serait fixée ultérieurement. Nous n’avons pas vérifié indépendamment cet entraînement.
L’article FT complet nécessite un abonnement. Cette reprise ne transforme pas les estimations de taille des concurrents en chiffres officiels et ne déduit pas un parc d’accélérateurs précis du seul total de paramètres.
Calculer le stockage avec ses hypothèses
La couverture pose une question limitée : si 10 000 milliards de paramètres occupaient chacun exactement deux octets, quelle serait la taille des poids ? Le produit donne 20 000 milliards d’octets, soit 20 To décimaux. À quatre bits idéalement compactés par paramètre, il donne 5 To.
Ces nombres excluent métadonnées de quantification, caches, activations et tampons. L’entraînement demande d’autres états. Ce sont des calculs hypothétiques de stockage, pas les besoins mémoire ByteDance ni une précision annoncée pour ce projet. Sans représentation, le nombre de paramètres ne donne même pas un unique total d’octets.
Paramètres stockés et travail actif diffèrent
Une architecture à experts routés peut sélectionner une partie des experts pour un token. Une architecture dense suit un autre parcours. Ni architecture ni coût de service ne se déduisent du seul chiffre de titre. Communications, lots, longueur des séquences et implémentation influencent aussi le débit.
Une plus grande réserve de paramètres n’est pas un résultat de test. Pour choisir un modèle publié, comparez tâches, exactitude, latence et coût dans des conditions documentées. Davantage de poids n’empêche pas d’échouer sur un parcours qu’un autre système traite correctement.
La prochaine preuve utile serait une sortie nommée ou un rapport technique avec évaluations reproductibles. D’ici là, il faut distinguer ambition rapportée et comportement démontré. Répéter l’estimation maximale comme une caractéristique produit masque l’incertitude au lecteur.
Revue du 8 septembre : chiffre de 10 000 milliards maintenu comme information attribuée ; spéculations matérielles retirées, stockage et capacité distingués.