Outils sysadminActualité

Etched : ce que prouve le premier rack Jane Street

Sur cette page
  1. Financement et livraison ne mesurent pas la même chose
  2. Vérifier la compatibilité modèle par modèle
  3. Mesurer l’attente réelle de l’utilisateur

L’annonce du 18 août associe une levée de fonds à une étape matérielle concrète : un premier rack fourni à Jane Street. Elle ne constitue pas encore un comparatif général pour les acheteurs d’inférence.

Photographie officielle du matériel Etched proposée à la presse dans son kit média. Équipements et câblage montrent le rack physique ; cette image ne documente pas indépendamment l’installation de Jane Street.
Photographie officielle du matériel Etched proposée à la presse dans son kit média. Équipements et câblage montrent le rack physique ; cette image ne documente pas indépendamment l’installation de Jane Street. Crédit et source : Etched. Droits réservés à son auteur.
Agrandir l’image

Financement et livraison ne mesurent pas la même chose

Dans son annonce, Etched rapporte 700 millions de dollars levés pour une valorisation de 21 milliards. Jane Street a mené le tour après avoir testé le matériel et indique que son rack fonctionne dans son datacenter. C’est un élément plus concret qu’un rendu de produit ou une liste de réservations.

Le communiqué émis par l’entreprise situe l’expédition initiale le mois précédent, en juillet. Il mentionne aussi plus d’un milliard de dollars de contrats clients. La valeur contractuelle ne représente ni le chiffre d’affaires comptabilisé, ni l’argent encaissé, ni le nombre de racks installés.

La photographie provient du kit média Etched, qui propose explicitement ces images pour la presse. Elle montre le matériel au lieu d’une puce inventée ; elle ne documente pas indépendamment l’installation particulière de Jane Street.

Vérifier la compatibilité modèle par modèle

Le communiqué décrit la prise en charge de grands modèles mixture-of-experts et de certaines architectures non-transformer, avec l’approche de calcul LVI et la mémoire partagée CSM. Ces déclarations du fournisseur ne démontrent pas la compatibilité de tout modèle, opérateur, format numérique ou moteur de service sans adaptation.

Une demande utile précise checkpoint, opérateurs, précision et version logicielle. Demandez comment s’exécutent les opérations non prises en charge et si le modèle fourni a été modifié. Un chemin optimisé et un déploiement accumulant les mécanismes de repli sont deux configurations différentes à évaluer.

Mesurer l’attente réelle de l’utilisateur

Prenons un exemple original : deux secondes avant le début de la génération, puis 1 000 tokens de sortie à débit constant. À 50 tokens/s, la durée totale atteint environ 22 secondes ; à 100 tokens/s, environ 12 secondes. Doubler le débit de génération ne divise pas toute la réponse par deux, car l’attente initiale demeure.

Ces nombres fictifs ne sont pas des mesures Etched. Une évaluation réelle distingue attente en file, délai du premier token, génération soutenue et latences élevées sous concurrence, à qualité de sortie constante. Demandez puissance du système complet et coût d’exploitation sur la même charge. Le témoignage client atteste une première étape de déploiement ; des mesures comparables déterminent l’adéquation à un service précis.

Revue du 8 septembre : sources recoupées, données actualisées et explications et visuels remplacés.