- IA
- Mobile
Déployer Llama 3.2 sur un appareil mobile grâce à ExecuTorch
21 janvier — 2025
L’exécution de modèles d’intelligence artificielle directement sur un appareil mobile est un défi de taille. ExecuTorch représente une avancée majeure dans le domaine de l'IA mobile en permettant l'exécution de modèles sophistiqués directement sur les appareils iOS et Android. Notre équipe a testé diverses applications pratiques avec le modèle Llama 3.2 de Meta, de la génération de texte à la traduction, en passant par l'extraction de données structurées.
Installation et configuration
L'implémentation sur iOS s'est révélée relativement simple, suivant les directives officielles. Android a présenté quelques défis, nécessitant l'utilisation d'une librairie précompilée. Une étape critique de la configuration consiste à spécifier la longueur maximale des textes (en tokens) que Llama 3.2 pourra analyser ou générer sur l'appareil mobile.
Performance et considérations pratiques
Nos tests ont révélé des résultats intéressants :
Les modèles QAT+LoRA surpassent significativement leurs homologues BF16
Le modèle 3B offre de meilleures performances mais nécessite 12 Go de RAM
Les temps de réponse varient de 5 à 30 secondes selon la complexité
La consommation énergétique mérite une attention particulière
Implications pour le développement mobile
Cette technologie ouvre de nouvelles perspectives pour les applications mobiles nécessitant des capacités d'IA, particulièrement dans des contextes où la confidentialité ou l'absence de connexion internet est cruciale. Cependant, les contraintes matérielles actuelles limitent encore son adoption généralisée.
