Samsung a détaillé LPDDR5X-PIM à Hot Chips 2026 les 25 et 26 août, première conception de calcul en mémoire pour de la DRAM basse consommation, et les chiffres expliquent l'intérêt de l'exercice. Seize blocs de calcul logent à l'intérieur des bancs DRAM avec leurs propres arbres de multiplication accumulation, ce qui donne 614 gigaoctets par seconde de bande passante interne contre 76,8 sur la face conventionnelle de la même puce. Sur silicium, en exécutant Llama 3.1 8B sur l'accélérateur embarqué maison de Samsung, la puce a terminé un passage de 320 jetons en cinq virgule quatre secondes au lieu de douze virgule trois, et la sortie est montée de vingt sept à quatre vingt un virgule trois jetons par seconde.
The short answer
Samsung a présenté LPDDR5X-PIM à Hot Chips 2026 les 25 et 26 août. Seize blocs de calcul en mémoire logent dans les bancs DRAM avec des arbres de multiplication accumulation parallèles et une unité arithmétique traitant flottant et entier. Quinze combinaisons de précision MAC sont sélectionnables par registre de configuration, une première pour du PIM basse consommation. Sur silicium, dans l'accélérateur embarqué maison de Samsung, un passage Llama 3.1 8B de 320 jetons a fini en 5,4 secondes au lieu de 12,3. Le boîtier est JEDEC standard, 561 billes, 16 Go sur quatre puces par rang.
Tout modèle de langue, sur tout appareil, passe l'essentiel de son temps à faire la même chose sans gloire : déplacer des poids depuis la mémoire vers un processeur pour les multiplier par un vecteur, puis les jeter et aller chercher le lot suivant. L'arithmétique est triviale. Le déplacement représente tout le coût. La réponse de Samsung consiste à cesser de déplacer.
L'idée, et pourquoi le chiffre de bande passante paraît étrange
Une puce DRAM dispose en interne de bien plus de bande passante qu'elle ne pourra jamais en exposer sur ses broches. Les bancs sont larges et parallèles, l'interface externe est étroite en comparaison, et tout ce que le monde extérieur voit a transité par cet entonnoir. Cet écart existe depuis des décennies et ne comptait guère, la plupart des charges n'étant pas affamées de bande passante.
L'inférence, si. Samsung a donc placé le calcul du bon côté de l'entonnoir.
LPDDR5X-PIM installe seize blocs PIM à l'intérieur des bancs DRAM. Chacun dispose d'arbres de multiplication accumulation parallèles et d'une unité arithmétique qui prend en charge le flottant et l'entier. Ces unités voient 614 gigaoctets par seconde au point de fonctionnement x64 à 9 600 mégabits par seconde. La face conventionnelle de la même puce offre 76,8 gigaoctets par seconde.
Le facteur huit est l'écart entre ces deux valeurs, et il mérite une lecture précise. Le bus externe n'est pas devenu plus rapide. Le calcul a simplement déménagé là où la bande passante se trouvait déjà.
Ce que Samsung a mesuré
La mesure est ce qui fait passer l'exposé du stade de la conférence d'architecture, parce que Samsung a construit deux fois le même système.
Sur son propre SoC accélérateur embarqué, Samsung a comparé une construction LPDDR5X conventionnelle à une construction LPDDR5X-PIM sur Llama 3.1 8B avec un contexte de 320 jetons, en activations entières signées sur huit bits, poids entiers signés sur quatre bits et sortie entière signée sur trente deux bits.
La version PIM a terminé en 5,4 secondes contre 12,3, soit un gain de 2,28 fois sur la durée totale. Le débit de sortie est passé de 27,0 à 81,3 jetons par seconde, un gain de 3,01 fois. Le chiffre de débit dépasse celui de durée parce que le préremplissage profite moins du mécanisme que le décodage, ce que l'on prédirait exactement à partir du principe.
L'arithmétique de crête atteint 2,4 TOPS avec des poids entiers signés sur quatre bits, ou environ 1,2 téraflops par boîtier en FP8. Quinze combinaisons de précision sont sélectionnables par les champs de précision MAC du registre de configuration, ce qui fait, selon Samsung, le premier produit PIM basse consommation à précision multiple.
Ce que cela vise, et ce que cela ne vise pas
Il s'agit de DRAM basse consommation. Elle ne concurrence pas les piles HBM installées à côté des accélérateurs de centre de données, et rien ici ne change l'économie d'une baie.
La cible annoncée couvre le serveur, le mobile et le client, et c'est la moitié mobile et client qui intéresse. Trois fois le débit de jetons sur un modèle de huit milliards de paramètres sépare l'assistant embarqué que les gens abandonnent après une semaine de celui qu'ils gardent. Cela retire aussi du travail au réseau, ce qui supprime à la fois un plancher de latence et un coût récurrent.
La limite évidente vaut pour toute unité spécialisée : elle accélère une opération. La multiplication matrice vecteur contre des poids gardés en mémoire constitue l'essentiel du décodage, donc le gain est réel, mais rien d'autre dans le système n'accélère et la phase de préremplissage en profite bien moins. Un gain global de 2,28 fois issu d'un gain de 3,01 fois sur le décodage, c'est cette arithmétique qui se voit honnêtement.
Le choix de précision mérite lui aussi un signalement. Les poids sur quatre bits sont désormais courants en embarqué, mais les chiffres publiés viennent de la quantisation la plus agressive que la puce accepte. Qui prévoit sur la base de ces nombres devrait mesurer à la précision qu'il compte réellement livrer.
La question de la normalisation
Validé sur silicium ne vaut pas disponible, et c'est là que l'histoire reste vraiment ouverte.
La spécification décrit un boîtier JEDEC standard à 561 billes avec 16 gigaoctets sur quatre puces par rang, ce qui est la bonne nouvelle : un boîtier standard permet à un fabricant d'appareils d'adopter la technologie sans redessiner une carte autour d'une pièce propriétaire. Samsung a aussi indiqué que LPDDR6-PIM est en développement et se dirige vers une normalisation JEDEC.
Ce dernier point décide de tout. Si le PIM entre dans une norme JEDEC, il devient une capacité sur laquelle toute la filière peut construire et les chaînes d'outils suivront. S'il reste une extension propre à Samsung, il apparaîtra dans les appareils de Samsung et n'ira pas plus loin, ce qui fut le sort de la plupart des propositions de calcul côté mémoire depuis trente ans.
Hot Chips 2026 a été inhabituellement centré sur la mémoire en général, avec Nvidia détaillant son accélérateur de décodage Groq 3 LPX au même événement. Le fil commun aux deux : le travail intéressant est passé de l'ajout d'arithmétique à l'art de ne pas déplacer les données.
Ce qu'il faut en retenir
Si vous concevez pour des appareils embarqués, voici le signal le plus net à ce jour que l'inférence locale progresse nettement à la prochaine génération de matériel, et que prévoir un repli hébergé partout relèvera peut être de la sur ingénierie d'ici 2028.
Si vous achetez de la mémoire, notez que cela arrive alors que Samsung relève ses tarifs de fonderie jusqu'à 15 pour cent et que le coût de la mémoire pousse les prix des serveurs IA d'environ 15 pour cent pour début 2027. Le calcul dans la DRAM est aussi, accessoirement, une façon de vendre de la DRAM plus chère.
Et si vous ne voulez que le principe : le goulet n'a jamais été la multiplication. C'était la distance.
Sources et pour aller plus loin
- Samsung LPDDR5X-PIM at Hot Chips 2026, ServeTheHome
- Hot Chips 2026: Samsung makes LPDDR5X smart with logic unit in memory, Tom's Hardware
- New Samsung LPDDR5X DRAM adopts HBM's PIM tech for faster mobile AI, Sammy Fans, 25 août 2026
- Samsung Electronics unveils blueprint for world first computing low power DRAM, The Herald Business
Questions fréquentes
Que signifie concrètement le calcul en mémoire ici ?
Cela signifie des unités arithmétiques intégrées à la puce DRAM elle même, à côté des bancs, plutôt que dans un processeur séparé obligé de tirer les données à travers un bus. Samsung place seize blocs PIM dans les bancs, chacun avec des arbres de multiplication accumulation parallèles et une unité arithmétique qui traite le flottant comme l'entier. Le but n'est pas de faire de la DRAM un bon processeur généraliste, ce qu'elle n'est pas. Le but est que, pour une opération précise, multiplier un vecteur par une grande matrice de poids, les données n'aient plus à quitter la puce. Cette opération représente presque tout ce que fait un modèle de langue pendant le décodage, d'où le positionnement sur l'inférence et rien d'autre.
D'où vient le facteur huit sur la bande passante ?
De l'écart entre ce que voient les unités PIM et ce que l'interface externe peut délivrer. La face PIM lit à 614 gigaoctets par seconde au point de fonctionnement x64 à 9 600 mégabits par seconde. La face conventionnelle de la même puce offre 76,8 gigaoctets par seconde, chiffre auquel le monde extérieur reste limité. Le facteur huit n'affirme donc pas que la mémoire est devenue plus rapide sur son bus externe : il constate que les bancs internes ont toujours eu plus de bande passante que les broches ne pouvaient en transporter, et que le PIM est une façon de l'exploiter. Ce cadrage explique pourquoi la technique aide spécifiquement les charges limitées par la mémoire et ne fait rien pour le reste.
Quelles précisions sont prises en charge ?
Quinze combinaisons, sélectionnables par les champs de précision MAC du registre de configuration, ce qui en fait le premier produit PIM basse consommation à précision multiple. Le débit de crête atteint 2,4 TOPS avec des poids entiers signés sur quatre bits, et environ 1,2 téraflops par boîtier en FP8. La mesure publiée par Samsung utilisait des activations entières signées sur huit bits, des poids entiers signés sur quatre bits et une sortie entière signée sur trente deux bits. C'est une quantisation agressive, légitime pour de l'inférence embarquée où les poids sur quatre bits sont déjà la norme, mais cela signifie que les chiffres affichés viennent de la précision la plus favorable que la puce accepte.
Est ce livré ou est ce une conception sur le papier ?
C'est validé sur silicium mais ce n'est pas un produit commandable. Samsung a mené la comparaison sur son propre SoC accélérateur embarqué, en construisant deux fois le même système, une fois en LPDDR5X conventionnelle et une fois en LPDDR5X-PIM, ce qui est la bonne méthode. La spécification décrit un boîtier JEDEC standard à 561 billes contenant 16 gigaoctets répartis sur quatre puces par rang, visant le serveur, le mobile et le client. Samsung a également indiqué que LPDDR6-PIM est en développement et se dirige vers une normalisation JEDEC, ce qui décidera vraiment si la chose devient une capacité de la filière ou reste une démonstration Samsung.
Cela change t il quelque chose pour qui loue de l'inférence en nuage ?
Pas directement, car il s'agit de DRAM basse consommation destinée aux appareils embarqués et clients plutôt que des piles HBM qui accompagnent les accélérateurs de centre de données. La conséquence intéressante est de l'autre côté : le travail qui part aujourd'hui vers un centre de données parce qu'un téléphone ou un portable ne sert pas un modèle assez vite pourrait cesser d'en avoir besoin. Trois fois le débit de jetons sur un modèle de huit milliards de paramètres en local, c'est la différence entre un assistant embarqué qui paraît cassé et un assistant utilisable. L'idée avait déjà été appliquée à la HBM, la technique n'est donc pas neuve, mais la faire fonctionner dans une puce basse consommation est ce qui la met dans les appareils.