Les meilleures façons d'exécuter Stable Diffusion et SDXL sur un Mac Apple Silicon

Stable Diffusion est rapidement devenu le générateur d'images préféré des personnes profondément intéressées par le monde de l'art visuel généré par l'intelligence artificielle. La flexibilité puissante du logiciel, sa grande compatibilité avec les technologies émergentes et sa capacité à s'exécuter localement lui ont valu une place privilégiée parmi les passionnés d'IA.

La plupart des implémentations sont optimisées pour Windows, cependant, étant donné que le fabricant de cartes graphiques Nvidia domine actuellement l'espace de l'IA et que leurs GPU et bibliothèques ne fonctionnent pas sur le matériel Apple.

De plus, Apple est très restrictif dans le maintien du contrôle sur ses produits, à la fois matériels et logiciels. Comme l'explique l'équipe InvokeAI ici, les modèles CoreML d'Apple «requièrent une implémentation spécifique de Stable Diffusion qu'Apple a créée.» Cela laisse aux utilisateurs le choix entre des implémentations efficaces mais limitées, ou des options plus lentes mais plus flexibles.

Mais de la même manière qu'il existe des solutions de contournement pour les jeux puissants sur un Mac, il existe des moyens d'exécuter Stable Diffusion - en particulier son nouveau et puissant modèle SDXL. Voici quelques-unes des meilleures implémentations de Stable Diffusion pour les utilisateurs de Mac Apple Silicon, adaptées à un mélange de besoins et d'objectifs.

Diffusion Bee : L'expérience Mac ultime

Diffusion Bee

Diffusion Bee incarne l'un des slogans les plus célèbres d'Apple : ça fonctionne simplement. Pas besoin de manipuler des lignes de commande, des interfaces compliquées, des installations de bibliothèques, des paramètres complexes ou des interfaces utilisateur moches. C'est de loin l'application la plus propre et la plus esthétiquement plaisante dans le domaine de Stable Diffusion.
Si vous êtes le genre d'utilisateur qui veut dessiner des dragons, des waifus ou de beaux paysages sans vous plonger dans les détails techniques, cette application est faite pour vous. Il vous suffit de la trouver sur l'App Store, de l'installer et vous êtes prêt. L'application fait tout pour vous : elle télécharge les modèles, les échantillonneurs, les configurations, les bibliothèques, optimise les modèles et pourrait même vous préparer une tasse de café pendant que vous attendez.

Comment installer Diffusion Bee et exécuter les meilleurs modèles de diffusion stables :

• Recherchez Diffusion Bee dans l'App Store et installez-le.
• Pour installer des modèles personnalisés, rendez-vous sur la page «Partagez vos modèles» de Civitai.
• Téléchargez le modèle qui vous plaît le plus.
• Ouvrez Diffusion Bee et importez le modèle en cliquant sur l'onglet «Modèle» puis sur «Ajouter un nouveau modèle».

Nos modèles préférés sont Photon pour le photoréalisme et Dreamshaper pour l'art numérique. Malheureusement, Diffusion bee ne prend pas encore en charge SDXL. Cependant, vous avez toujours des centaines de modèles SD v1.5 à votre disposition.

Avantages:

• Facile à utiliser
• Interface simple
• Compatible avec des modèles personnalisés
• Compatible avec CoreML d'Apple

Inconvénients:

• Pas de support SDXL
• Flexibilité limitée pour les flux de travail avancés

Draw Things: Une application Mac pour les utilisateurs expérimentés de Stable Diffusion

Draw Things

Draw Things est une application légèrement plus avancée. Elle est compatible avec CoreML, ce qui signifie qu'elle exécutera les modèles, les optimisant selon la façon dont les Macs «pensent». Cela signifie également que les images seront créées plus rapidement qu'en utilisant d'autres modèles non optimisés.
L'interface est moins conviviale que Diffusion Bee, mais elle est parfaite pour ceux qui recherchent plus de flexibilité et une variété d'options pour créer de nouvelles choses. Elle est compatible avec les embeddings, les LoRAs et les modèles faciles à restaurer, et offre de nombreuses options à explorer.
De plus, elle offre une prise en charge native de SDXL ainsi que du raffineur.

Comment installer Draw Things et ajouter des modèles personnalisés :

• Téléchargez-le depuis l'App Store ou depuis son site officiel.
• Draw Things permet le téléchargement dans l'application sans avoir besoin de visiter des sites web tiers comme Civit AI ou Hugging Face. Mais il vous permet également de télécharger des modèles à partir de sites web tiers et de les importer après optimisation.

Avantages :

• Très flexible
• Compatible avec CoreML
• Fonctionne sur d'autres appareils Apple comme les iPad
• Permet le téléchargement dans l'application de modèles personnalisés
• Optimisé pour Apple Silicon

Inconvénients :

• Interface complexe
• Moins attrayant visuellement
• Fichiers en double lors de l'importation de modèles (l'un étant le modèle d'origine et un nouveau étant la version optimisée), consommant plus d'espace de stockage et perturbant éventuellement l'organisation des fichiers s'ils sont utilisés en conjonction avec d'autres implémentations de Stable Diffusion

Automatic 1111: Le couteau suisse des interfaces utilisateur

• 

Automatic 1111[/caption>
Automatic 1111 est populaire parmi les amateurs de Stable Diffusion pour sa compatibilité avec des outils tiers, ce qui en fait un choix idéal pour ceux qui sont sérieux au sujet de la génération d'images.

Comment l'installer :

L'installation de A1111 est un peu plus complexe, et vous devrez suivre ce guide détaillé.
En résumé:

Tout d'abord, vous devez installer Homebrew. Vous pouvez faire l'une des deux choses suivantes:

1. Ouvrez le terminal et collez cette commande:

/bin/bash -c «$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)»

1. Téléchargez et installez le package .pkg disponible à cette adresse: https://github.com/Homebrew/brew/releases/tag/4.1.7

Assurez-vous d'ajouter Homebrew à votre PATH.

Ouvrez une nouvelle fenêtre de terminal et exécutez cette commande dans votre terminal :

brew install cmake protobuf rust python@3.10 git wget

Clonez le dépôt de l'interface utilisateur web en exécutant cette commande dans votre terminal :

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

Téléchargez vos modèles préférés et placez-les dans le dossier «models» (qui se trouve à l'intérieur du dossier parent Stable Diffusion). Si vous ne l'avez pas modifié, le chemin devrait être : stable-diffusion-webui/models/Stable-diffusion.

Exécutez cette commande dans votre terminal pour accéder à votre dossier A1111 :

cd stable-diffusion-webui

Pour lancer l'interface utilisateur Web, à partir de votre dossier A1111, exécutez cette commande dans votre terminal :

./webui.sh
Un environnement virtuel Python sera créé et activé à l'aide de venv, et toutes les dépendances manquantes seront automatiquement téléchargées et installées.

Maintenant, chaque fois que vous souhaitez exécuter A1111, double-cliquez simplement sur le fichier webui.sh situé dans votre dossier «stable-diffusion-webui» et attendez qu'il se charge. Vous verrez une adresse IP dans votre terminal. Copiez-la et collez-la dans votre navigateur.

Amusez-vous à générer vos meilleures images.

Astuce: Si vous souhaitez automatiser le processus, vous pouvez télécharger ce fichier et le coller dans votre dock. Il exécutera le script, copiera l'URL et exécutera l'interface utilisateur dans votre navigateur par défaut.
Si vous ne faites pas confiance à un script publié sur le web, vous pouvez créer votre propre script en ouvrant l'application Automator, en créant un nouveau flux de travail et en copiant cette configuration :

InvokeAI est une excellente implémentation qui est devenue très populaire pour sa stabilité et sa facilité d'utilisation pour les éditions d'outpainting et d'inpainting. Elle ne prend pas en charge CoreML, mais c'est une très bonne alternative à A1111 si vous recherchez ce niveau supplémentaire d'édition.

Étant donné qu'il est en source fermée, il n'accepte pas les plugins tiers mais est compatible avec SDXL.

L'installation se fait via des commandes, bien que l'équipe InvokeAI ait essayé de la simplifier autant que possible. Voici le lien vers leur guide d'installation officiel pour ceux qui veulent l'essayer.

Mochi Diffusion :

[caption id="attachment_154789" align="alignnone" width="2560"] Mochi Diffusion

Mochi Diffusion est une implémentation native pour exécuter des modèles de diffusion stables compatibles avec CoreML. Il n'offre pas d'option pour convertir des modèles, mais il existe un catalogue alimenté par la communauté Hugging Face pour ceux qui souhaitent utiliser cette implémentation. Les modèles split-einsum sont les meilleurs pour Apple Silicon, bien qu'il prenne également en charge des modèles généraux pour ceux qui souhaitent une certaine flexibilité dans le choix du rendu avec un GPU, un CPU et l'obtention de bons résultats à différentes résolutions.

Il est installé via le dépôt officiel du projet, et les modèles personnalisés pour Apple Silicon peuvent être téléchargés depuis Hugging Face et copiés dans le dossier correspondant.

Conclusion

Il n'y a pas de perfection absolue en matière d'application, et les artistes en IA ont tendance à utiliser différentes implémentations pour tirer le meilleur parti de chacune d'entre elles. Compte tenu des difficultés d'avoir un Mac dans un monde dominé par les PC, vous pourriez envisager de sauter le pas et d'installer quelques applications, tout comme la plupart des artistes en IA.

Le choix de la bonne implémentation de Stable Diffusion pour votre Mac Apple Silicon dépend du type d'utilisateur que vous êtes et de ce que vous souhaitez accomplir. Mais avec les options présentées ci-dessus, vous pouvez certainement trouver quelque chose qui correspond à vos besoins.