Le Tensor G3 du Pixel 8 Pro déporte les tâches d’IA générative vers le cloud
(notebookcheck.net)- Les nouvelles fonctions d’IA générative du Pixel 8 Pro ne sont pas traitées directement par le Tensor G3, mais transitent par les serveurs de Google, ce qui met en lumière l’écart entre le marketing centré sur l’IA de Google pour sa puce et l’expérience réelle perçue
- AI Wallpaper et Magic Editor nécessitent une connexion Internet permanente, le point central étant que les tâches demandées par l’utilisateur sont traitées dans le cloud et non sur l’appareil
- Google a présenté le Tensor G3 comme une puce « AI-first » en mettant en avant le machine learning on-device et les bases de l’IA générative, mais certaines fonctions phares restent éloignées d’une exécution locale
- Notebookcheck a ajouté une courte vidéo de vérification montrant que Magic Editor et AI Wallpaper exigent une connexion Internet continue pour un traitement dans le cloud
- Selon Geekbench 6, le Tensor G3, bien qu’équipé d’une architecture CPU récente, est plus proche du Snapdragon 7+ Gen 2 que du Snapdragon 8 Gen 2, ce qui alimente à la fois le débat sur les fonctions d’IA mises en avant et sur les performances de la puce
Lancement du Pixel 8 Pro et critiques du Tensor G3
- Le Pixel 8 Pro est présenté comme un cas de lancement plus difficile que d’habitude pour la série flagship de Google
- Arun Maini, connu sous le nom de @Mrwhosetheboss, avait décerné au Pixel 7 Pro de l’année précédente le titre de « Best Smartphone of 2022 », mais n’accorde pas au Pixel 8 Pro des éloges du même niveau
- Certains éléments de la série Pixel 8 sont toutefois jugés positivement
- le design
- la finition en verre givré au dos du Pixel 8 Pro
- le logiciel haut de gamme
- les performances en photo fixe
- les fonctions dopées à l’IA comme Best Photo, Magic Editor et Audio Magic Eraser
- Parmi les points décevants figurent une gestion du zoom maladroite lors du changement d’objectif et une stabilisation vidéo à l’aspect artificiel
- La critique la plus importante se concentre sur le processeur Tensor G3 de la série Pixel 8
Dépendance aux serveurs pour les fonctions d’IA générative
- Maini estime que les nouvelles fonctions d’IA générative comme AI Wallpaper et Magic Editor demandent plus de calcul que ce que le SoC Tensor G3 peut fournir
- Ces fonctions nécessitent une connexion Internet permanente
- toutes les opérations de l’utilisateur doivent passer par les serveurs de Google
- il juge que cela se ressent par une lenteur qui montre clairement que l’exécution ne se fait pas sur l’appareil
- L’idée centrale de la citation de Maini est la suivante
- les fonctions qui créent quelque chose avec l’IA générative exigent une connexion Internet permanente
- le traitement passe par les serveurs de Google
- cela montre, selon lui, que le Tensor G3 n’est pas au niveau d’un flagship
Un décalage avec le marketing de Google autour du Tensor G3
- Google met en avant le Tensor G3 comme une puce « AI-first » en insistant sur ses capacités de traitement IA
- Dans le blog officiel de Google, Monika Gupta, VP of Product Management chez Google, explique notamment que
- une grande partie des innovations récentes en IA repose sur une puissance de calcul de niveau datacenter
- pour utiliser au quotidien la puissance transformatrice de l’IA, elle doit être accessible depuis les appareils utilisés chaque jour
- le Tensor G3 est la toute dernière puce en silicium personnalisé de Google
- Google affirme que le Tensor G3 repousse les limites du machine learning on-device
- il apporterait directement aux Pixel 8 et Pixel 8 Pro les tout derniers résultats de la recherche Google en IA
- l’objectif de Tensor ne serait pas la vitesse ou les métriques de performance traditionnelles, mais de faire progresser l’expérience de l’informatique mobile
- les principaux sous-systèmes ont été mis à niveau et poseraient les bases de l’IA générative on-device
- la puce comprend les derniers CPU Arm, un GPU amélioré, un nouvel ISP et un Imaging DSP, ainsi qu’un TPU de nouvelle génération conçu pour exécuter les modèles d’IA de Google
La question de l’IA on-device au regard de l’explication d’Arm
- La manière dont le Pixel 8 Pro traite ses tâches d’IA générative entre en contradiction avec le message de Google sur l’IA on-device
- Google relativise l’importance des indicateurs de performance, mais Arm souligne le rôle du CPU et du GPU dans les tâches d’IA
- Arm explique qu’à mesure que les calculs d’IA se déplacent du cloud vers l’endroit où les données sont collectées, les technologies CPU et MCU d’Arm traitent la majorité des charges de travail IA/ML à l’edge et sur les endpoints
- Selon Arm, le CPU est au cœur de tous les systèmes d’IA, qu’il traite seul l’IA ou qu’il prenne en charge certaines tâches avec des processeurs auxiliaires comme le GPU ou le NPU
- Dans ce contexte, il apparaît un écart entre la présentation de Google, qui laisse penser que les tâches d’IA sont traitées essentiellement par le TPU, et celle d’Arm
Blocage des benchmarks et résultats Geekbench 6
- Pendant la période d’embargo des tests, il n’était pas facile d’installer via le Play Store des applications de benchmark populaires
- Cette restriction a continué après le lancement, mais Google a ensuite levé le blocage après l’article de Notebookcheck
- Dans Geekbench 6, le benchmark multiplateforme de Primate Labs, le Tensor G3 affiche des scores CPU inférieurs aux attentes malgré une architecture CPU récente
- Les performances du Tensor G3 se révèlent plus proches de la puce milieu de gamme Snapdragon 7+ Gen 2 que de l’actuelle puce flagship Snapdragon 8 Gen 2
- De courtes vidéos ajoutées dans une mise à jour confirment que les nouvelles fonctions d’IA du Pixel 8 Pro, dont Magic Editor et AI Wallpaper, nécessitent une connexion Internet continue
1 commentaires
Avis sur Hacker News
Google a dit ceci : « Avec la nouvelle puce Tensor G3, nous avons mis à niveau tous les principaux sous-systèmes afin d’ouvrir la voie à l’IA générative on-device »
C’est clairement une formulation qui laisse une porte de sortie, et cela ne signifie pas forcément que toute l’IA générative tourne réellement sur le Tensor G3. On pourrait aussi soutenir que le travail fait sur le G3 prépare les futures puces. Cela dit, faire tourner de l’IA générative sur un SoC mobile, surtout avec des performances et une consommation correctes, semble encore assez irréaliste.
https://apps.apple.com/ca/app/draw-things-ai-generation/id64...
Les puces Tensor semblent avoir assez de performances pour faire la même chose, mais leur efficacité paraît faible, ce qui expliquerait qu’ils évitent l’exécution locale.
En regardant la citation de Google, ils disaient : « Tensor ne vise pas la vitesse ni les métriques de performance traditionnelles, mais à faire avancer l’expérience informatique mobile… ouvrir la voie à l’IA générative on-device… il intègre un TPU nouvelle génération conçu sur mesure pour exécuter les modèles d’IA de Google »
Dans ce cas, pourquoi une connexion Internet est-elle nécessaire ? Je me demande si cela a échoué à la dernière minute et qu’ils ont dû sortir le produit ainsi, ou si ce n’était dès le départ qu’un argument marketing.
Ça ressemble quand même beaucoup à un discours sur les performances
[1] https://store.google.com/intl/en/ideas/articles/google-tenso...
L’état de l’art de l’IA générative bas de gamme consiste encore à faire tourner des modèles optimisés sur des GPU de bureau, avec des résultats pas très bons. Un téléphone a du mal à faire cela. Beaucoup de machine learning s’exécute sur l’appareil, et davantage y migre, mais l’IA générative ne semble pas encore en être là.
Google emploie certes des formulations un peu glissantes, mais il n’est pas surprenant qu’un modèle de machine learning nécessitant une GTX 4090 ne tourne pas sur un téléphone.
Quelqu’un a-t-il regardé le trafic réseau pour voir si, lors de l’utilisation de Magic Editor, le traitement est effectivement externalisé ? Ou est-ce une conclusion déduite du fait qu’une connexion Internet est requise ?
Est-il impossible que l’Internet ne serve qu’à récupérer un nouveau modèle, tandis que le traitement se fait toujours sur l’appareil ?
Ça se tient dans une certaine mesure. L’IA générative a un coût très élevé.
Mais le génératif n’est qu’une catégorie de tâches d’IA, et la prédiction/l’inférence est probablement le principal domaine d’utilisation de Tensor. Dans Magic Eraser, la « détection des objets dans la photo » peut se faire sur l’appareil, tandis que « décider quoi remplir après avoir supprimé l’objet » peut se faire sur serveur.
Si c’est déporté vers le cloud, à quoi sert donc le processeur IA du Tensor G3 ?
Le seul point où Tensor G3 semble meilleur, c’est peut-être qu’il évite l’habitude de Qualcomm d’abandonner prématurément ses puces pour smartphones grand public.
D’après la réponse IA de Google, le Google Pixel 8 Pro peut exécuter localement sur l’appareil des modèles d’IA générative, mais pas tous.
Google a annoncé lors de l’événement Made by Google d’octobre 2023 que la puce Tensor G3 personnalisée du Pixel 8 Pro pouvait exécuter des versions distillées des modèles de génération de texte et d’images de Google. Ces modèles peuvent alimenter des fonctionnalités comme l’édition d’images ou les réponses intelligentes dans Gboard. Mais certaines tâches d’IA générative, comme l’exécution de grands modèles de langage tels que Bard, exigent encore trop de puissance de calcul pour tourner localement sur un smartphone et sont donc déportées vers le cloud.
Les exemples d’exécution locale listés sont Magic Eraser, Zoom Enhance, Best Take, Audio Magic Eraser, les réponses intelligentes de Gboard et les résumés IA de Google Recorder. Il est indiqué qu’à mesure que les puces Tensor s’amélioreront, davantage de fonctionnalités d’IA générative pourront s’exécuter on-device sur les futurs Pixel. ʘ ‿ ʘ
Ce n’est pas « Tensor » qui déporte quoi que ce soit ; ce sont les apps Android qui envoient ce travail vers Google Cloud. Je ne vois pas bien le rapport avec le SoC.
Le titre m’a immédiatement fait penser à Juicero.
Comment peut-on annoncer du on-device tout en envoyant aussitôt les données ailleurs ?
N’est-ce pas évident ? Si des fonctionnalités génératives de haute qualité tournaient on-device, ce serait au contraire une avancée énorme.
Je trouve acceptable de dire que « les fonctions d’IA générative où il faut réellement créer quelque chose avec l’IA, comme la génération de fonds d’écran IA ou Magic Editor, nécessitent une connexion Internet permanente… c’est tellement lent qu’on sent constamment que ça ne tourne pas on-device »
Si l’IA générative s’est améliorée, c’est parce qu’elle est devenue énorme et très gourmande en ressources. Elle n’est pas particulièrement rapide même sur des GPU grand public à plus de 1 000 dollars. Réduire ce type de génération pour l’adapter à un petit environnement on-device, tout en sachant que les résultats seront bien pires, ressemble à un immense gaspillage de temps et d’efforts. Cela dit, la question reste de savoir ce que Tensor fait exactement bien en edge, et c’est une question assez préoccupante puisque des fabricants de puces comme AMD, Qualcomm et ARM intègrent eux aussi de grands réseaux neuronaux et des cœurs Tensor.
Imaginez que, dans Photoshop, vous cliquiez sur un objet pour que l’IA en détecte les contours, mais qu’à chaque clic l’image soit empaquetée et envoyée dans le cloud, puis qu’il faille attendre 5 secondes de planification, de traitement et de retour pour chaque sélection. De même, la mise au point par reconnaissance d’objets via machine learning dans l’appareil photo n’aurait aucun sens si le cloud suivait les objets dans le viseur avec 3 secondes de retard.
La détection du mot-clé d’activation, en particulier, consiste à faire tourner en continu un réseau neuronal convolutif relativement petit sur une fenêtre fixe, donc l’efficacité énergétique est très importante.
Juste avant la sortie du Pixel 8, après avoir lu les articles RealFill[0] et Break-A-Scene[1] publiés par des chercheurs de Google et tenté d’implémenter rapidement un ensemble de modèles, je m’attendais à ce que les cœurs Tensor du G3 marquent un vrai bond, comme les cœurs de traitement du langage naturel et de conscience contextuelle du Moto X de 2013[2], ou qu’ils offrent des performances d’inférence étonnamment bonnes, comme Coral[3], l’Edge TPU développé par Google. Le Moto X proposait, avec Active Display, la reconnaissance de gestes et la reconnaissance vocale en environnement bruyant, une implémentation meilleure que celle de 95 % des appareils mobiles actuels, et Coral était aussi impressionnant, mais à cause de la pénurie de puces, du caractère changeant de l’entreprise et de son retrait de l’IoT, la production matérielle est passée chez ASUS en 2022.
Le point essentiel est que les hypothèses sur les performances d’inférence d’un matériel à plus de 1 000 dollars étaient fondamentalement erronées. À voir la façon dont ils s’appuient sur le mot à la mode « génératif », on dirait qu’ils ont tiré les mauvaises leçons des influenceurs Twitter ou des tentatives de déploiement des derniers grands modèles de langage. Sur mobile aussi, du matériel personnalisé adapté à des tâches spécifiques a déjà été possible par le passé et a réellement été développé. S’ils n’arrivaient pas à satisfaire les exigences de performance, de consommation et de temps de traitement, ils auraient dû revoir leur discours marketing plutôt que de s’exposer d’une manière susceptible de mener à une action collective liée au matériel.
[0] https://realfill.github.io/
[1] https://omriavrahami.com/break-a-scene/static/paper/Break-A-...
[2] https://en.wikipedia.org/wiki/Moto_X_(1st_generation)#Hardwa...
[3] https://coral.ai/