L’exécution de modèles d’intelligence artificielle directement sur un appareil mobile est un défi de taille. ExecuTorch représente une avancée majeure dans le domaine de l'IA mobile en permettant l'exécution de modèles sophistiqués directement sur les appareils iOS et Android. Notre équipe a testé diverses applications pratiques avec le modèle Llama 3.2 de Meta, de la génération de texte à la traduction, en passant par l'extraction de données structurées.
Installation et configuration
L'implémentation sur iOS s'est révélée relativement simple, suivant les directives officielles. Android a présenté quelques défis, nécessitant l'utilisation d'une librairie précompilée. Une étape critique de la configuration consiste à spécifier la longueur maximale des textes (en tokens) que Llama 3.2 pourra analyser ou générer sur l'appareil mobile.
