Puce d'accélération de réseaux de neurones

Dès 1993, les DSP ont été utilisés comme accélérateurs de réseaux neuronaux, par exemple pour accélérer les logiciels de reconnaissance optique de caractères[5]. Dans les années 1990, on a également tenté de créer des systèmes parallèles à haut débit pour les postes de travail destinés à diverses applications, y compris les simulations de réseaux neuronaux[6] - [7] - [8]. Les accélérateurs à base de FPGA ont également été explorés pour la première fois dans les années 1990 pour l'inférence[9] et l'apprentissage[10] ANNA était un accélérateur de réseau neuronal CMOS développé par Yann LeCun[11].

Le calcul hétérogène a commencé par l'incorporation d'un certain nombre de processeurs spécialisés dans un seul système, voire une seule puce, chacun optimisé pour un type de tâche spécifique. Les architectures telles que le microprocesseur Cell (processeur)[12] ont des caractéristiques qui se chevauchent de façon significative avec les accélérateurs d'IA, y compris : la prise en charge de l'arithmétique de faible précision, l'architecture de flux de données et la priorité accordée au "débit" plutôt qu'à la latence. Le microprocesseur Cell a ensuite été appliqué à un certain nombre de tâches[13] - [14] - [15], y compris l'IA[16] - [17] - [18].

Les CPU eux-mêmes ont également gagné des unités SIMD de plus en plus larges (utilisés pour les taches lourdes et les jeux) et la prise en charge des types de données de faible précision[19].

Les processeurs graphiques ou GPU sont des matériels spécialisés pour la manipulation d'images. Comme la base mathématique des réseaux neuronaux et la manipulation d'images sont similaires, pour des tâches parallèles compliquées impliquant des matrices, les GPU sont devenus de plus en plus utilisés pour les tâches d'apprentissage machine[20] - [21] - [22]. En tant que tels, à partir de 2016, les GPU sont populaires pour l'apprentissage d'IA, et ils continuent à évoluer dans une direction pour faciliter l'apprentissage profond, à la fois pour l'apprentissage[23] et l'inférence dans des dispositifs tels que les véhicules autonomes[24]. - and gaining additional connective capability for the kind of dataflow workloads AI benefits from (e.g. Nvidia NVLink)[25]. Comme les GPU ont été de plus en plus appliqués à l'accélération de l'IA, les fabricants de GPU ont incorporé du matériel spécifique aux réseaux neuronaux pour accélérer davantage ces tâches[26]. Les noyaux tenseurs sont destinés à accélérer l'entraînement des réseaux neuronaux. 26][26] Les cœurs Tensor sont destinés à accélérer l'entraînement des réseaux neuronaux[26].

Les frameworks d'apprentissage approfondi évoluent encore, ce qui rend difficile la conception de matériel sur mesure. Les dispositifs reconfigurables comme les "field-programmable gate array" (FPGA) facilitent l'évolution du matériel, des frameworks et des logiciels en eux[9] - [10] - [27].

Microsoft a utilisé les puces FPGA pour accélérer l'inference[28] - [29]. L'application des FPGA à l'accélération de l'IA a également motivé Intel à acheter Altera dans le but d'intégrer les FPGA dans les CPU des serveurs, ce qui serait capable d'accélérer l'IA ainsi que les tâches générales.

Alors que les GPU et les FPGA sont beaucoup plus performants que les CPU pour ces tâches liées à l'IA, un facteur d'efficacité de 10[30] - [31] peut encore être obtenu avec une conception plus spécifique, via un "Application-specific integrated circuit" (ASIC).. Ce qui inclut des différences dans l'utilisation de la mémoire et l'utilisation de nombres de précision plus faibles[32] - [33].

• Google "TPU" est un accélérateur spécialement conçu par Google pour son framework TensorFlow, qui est largement utilisé pour les réseaux neuronaux convolutifs. Il se concentre sur un volume élevé d'arithmétique de précision de 8 bits. La première génération s'est concentrée sur l'inférence, tandis que la deuxième génération a augmenté la capacité de formation au réseau neuronal.
• Adapteva epiphany est un coprocesseur multi-cœur avec un réseau sur un modèle de "scratchpad memory", adapté à un modèle de programmation de flux de données, qui devrait convenir à de nombreuses tâches d'apprentissage machine.
• Intel Nervana NNP (« Neural Network Processor ») (alias « Lake Crest »), qui, selon Intel, est la première puce disponible sur le marché avec une architecture spécialement conçue pour l'apprentissage approfondi. Facebook était un partenaire dans le processus de conception[35] - [36].
• Movidius Myriad 2 est un accélérateur VLIW AI à -nulti-cœurs, complété par des unités de fonctions vidéo fixes.
• Mobileye EyeQ est un processeur spécialisé dans le traitement de la vision (VPU) pour les voitures autonomes[37].

• Nvidia Tesla est la gamme de produits dérivés du GPU de Nvidia commercialisés pour les tâches GPGPU et réseau de neurones artificiels.
  • Nvidia Volta est une micro-architecture qui complète l'unité de traitement graphique avec des'tenseurs' supplémentaires visant spécifiquement à accélérer les calculs pour les réseaux neuronaux[38].
  • Nvidia DGX-1 est un produit station de travail/serveur Nvidia qui intègre les GPU de la marque Nvidia pour les tâches GPGPU, y compris l'apprentissage automatique[39].
• Radeon Instinct est la gamme de produits dérivés des GPU d'[AMD] pour l'accélération de l'IA[40].

Carte Sipeed MaixDuino comportant deux cœurs RISC-V RV64GC, et un processeur AI. Un processeur ESP32 pour le WiFi, comportant également un DSP l'accompagne

• Le processeur de la plate-forme mobile Snapdragon 845 de Qualcomm contient un noyau DSP Hexagon 685 pour le traitement de l'IA dans les applications de caméra, voix, XR et de jeux.
• PowerVR 2NX NNA ("Neural Net Accelerator") est un noyau IP de Imagination Technologies sous licence d'intégration dans des puces[41].
• Neural Engine est un noyau d'accélérateur IA au sein du SoC A11 Bionic d'Apple[42].
• Cadence Tensilica Vision C5 est un cœur IP DSP optimisé pour les réseaux neuronaux[43].
• Le "Neural Processing Unit" (NPU) est un accélérateur de réseau neuronal au sein du HiSilicon Kirin 970[44].
• En janvier 2018 CEVA, Inc. a lancé une famille de quatre processeurs AI appelés NeuPro, contenant chacun un DSP vectoriel programmable et une implémentation câblée de couches de réseau neuronal 8 ou 16 bits supportant les réseaux neuronaux avec des performances allant de 2 TOPS à 12,5 TOPS[45].
• Sipeed a développé la carte Sipeed M1 (ou Kendryte KD233), équipée d'un SoC Kendryte K210 comportant 2 cœurs RISC-V 64 bits et un processeur d'intelligence artificielle. Ces cartes sont prévues pour fonctionner avec FreeRTOS[46]. Plusieurs déclinaisons existent, elles peuvent être programmées en microPython, via l'IDE Plateforme.IO, avec Arduino IDE et supportent également Linux.

Accélérateur Universel Multifonctionnel (UMA) développé et produit par Manjeera Digital Systems sous l'égide du Centre for Innovation Engineering and Entrepreneurship Incubator de l'Indian Institute of Information Technolgy (IIIT), Hyderabad est une innovation révolutionnaire en matière d'accélération dans le calcul de toute application avec une architecture propriétaire basée sur les opérations Middle Stratum[47] - [48] - [49].

• En décembre 2017, Tesla Motors a confirmé une rumeur selon laquelle elle est en train de développer un Soc IA pour la conduite autonome. Jim Keller travaille sur ce projet depuis au moins le début de 2016[50].
• Eyeriss est un accélérateur destiné explicitement aux réseaux neuronaux convolutionnels, utilisant un scratchpad et une architecture de réseau sur puce[51].
• Nullhop est un accélérateur conçu à l'Institut de Neuroinformatique de l'ETH Zürich et à l'Université de Zürich sur la base d'une représentation éparses de cartes de caractéristiques. La deuxième génération de l'architecture est commercialisée par la spin-off universitaire Synthara Technologies[52] - [53].
• Kalray est un accélérateur pour les réseaux neuronaux convolutifs[54].
• SpiNNNaker est une conception à multi-cœurs spécialisée dans la simulation d'un grand réseau neuronal.
• Graphcore IPU est un accélérateur d'IA à base de graphiques[55].
• DPU, par wave computing, est une architecture de flux de données[56]
• STMicroelectronics a présenté début 2017 un démonstrateur SoC fabriqué selon un procédé à 28 nm contenant un accélérateur CNN profond[57].
• Le NM500 est le dernier né en date de 2016 d'une série de puces accélératrices pour les réseaux neuronaux à fonction de base radiale (Radial Basis Function)de General Vision[58].
• TrueNorth est un modèle multi-cœur basé sur des neurones à impulsions plutôt que sur l'arithmétique traditionnelle[59] - [60].
• Intel Loihi est une puce neuromorphe expérimentale[61].
• En septembre 2017, BrainChip a introduit une carte [PCI Express] commerciale avec un FPGA Xilinx Kintex Ultrascale FPGA utilisant des noyaux neuromorphes neuronaux en appliquant la reconnaissance de formes sur 600 images vidéo par seconde en utilisant 16 watts de puissance[62].
• IIT Madras est en train de concevoir un accélérateur de neurones à impulsions pour l'analyse de big-data[63].
• Plusieurs accélérateurs d'intelligence artificielle basés sur les mémoires ont été proposés qui tirent parti de la capacité de calcul en mémoire de memristor[4].
• AlphaICs est en train de concevoir un co-processeur basé sur un agent appelé "Real AI Processor" (RAP) pour permettre la perception et la prise de décision dans une puce[64].
• European Processor Initiative, dont le but est d'équiper les supercalculateurs européens et l'automobile européenne, dont le processeur est basé sur l'architecture ARM, et les accélérateurs chargés de l'AI et du calcul intensifs sont basés sur de l'architecture RISC-V.