Comment créer un assistant personnel Google personnalisé avec Raspberry Pi

Added 2018-10-22

Les assistants à commande vocale sont rapidement devenus monnaie courante. Dans de nombreuses maisons, Alexa ou Google Home contrôlent tout, de l’éclairage aux médias, en passant par le chronométrage.

La technologie sur laquelle ces périphériques fonctionnent est disponible, au moins en partie, pour tout le monde. L’assistant SDK de Google vous permet d’utiliser le service sur vos propres appareils. Ce didacticiel explique comment configurer l'Assistant Google sur votre Raspberry Pi et comment activer vocalement un voyant via des broches GPIO.

Matériel requis pour un assistant domestique Raspberry Pi

Tu auras besoin de:

Raspberry Pi avec un Comment installer un système d'exploitation sur un Raspberry Pi nouvelle installation de Raspbian sur la carte SD Voici comment installer un système d’exploitation sur votre Raspberry Pi et comment cloner votre configuration idéale pour une récupération après sinistre rapide. Comment installer un système d'exploitation sur un Raspberry Pi Lire la suite .
Webcam ou microphone USB.
Haut-parleur externe.
Circuit du Comment programmer votre Raspberry Pi pour contrôler les lumières DEL Tutoriel Pi LED Vous recherchez un projet Raspberry Pi facile pour vous initier au codage et à l'électronique? Essayez de connecter des voyants et de les coder pour les allumer et les éteindre! Comment programmer votre Raspberry Pi pour contrôler les lumières DEL Lire la suite (optionnel)
Un navigateur connecté à votre compte Google.

Remarque: L'équipement pour ce tutoriel peut varier quelque peu. J'ai utilisé une webcam USB de rechange uniquement pour son microphone. Toute webcam ou microphone compatible devrait bien fonctionner, et il existe listes étendues d'appareils compatibles Pi aider.

En outre, j'utilise la sortie 3,5 mm pour l'audio. HDMI et les autres sources de sortie fonctionneront également, bien que des modifications soient nécessaires dans la configuration du son ci-dessous.

Branchez la webcam USB et le haut-parleur, et configurez le circuit de voyants si vous l'utilisez.

Mise en place du son

Ce tutoriel peut être suivi directement sur le Pi ou via une connexion SSH dans le Pi.

Les deux manières commencent dans le terminal, pour vérifier les réglages du son. Utiliser des commandes un enregistrement -l et aplay -l pour lister les appareils disponibles.

L'image ci-dessus montre la webcam USB en tant que carte 1 et périphérique 0 . Prenez note des numéros de carte et de périphérique pour la sortie microphone et haut-parleur.

Maintenant, assurez-vous que vous êtes dans le / home / pi répertoire, créez un nouveau fichier et ouvrez-le dans nano:


sudo nano .asoundrc

Le contenu de ce répertoire sera différent selon les numéros de carte et de périphérique que vous utilisez. C’est là que vous pouvez choisir de privilégier la sortie HDMI au lieu de 3,5 mm si vous le souhaitez.

Lorsque vous avez entré votre version du code ci-dessus, appuyez sur Ctrl + X pour sauvegarder et quitter.

Testez votre configuration en enregistrant et en lisant un court extrait:

Étape facultative: Si vous souhaitez modifier le volume d'entrée de votre microphone, ouvrez alsamixer et appuyez sur F6 faire défiler les appareils.

C'est tout! Le son est mis en place.

Création du projet Google

Ouvrez le navigateur du Pi ou si vous êtes connecté via SSH, ouvrez un navigateur localement. Accédez au Google Action Console et cliquez Nouveau projet .

Ceci peut prendre un certain temps. Lorsque vous avez terminé, laissez la fenêtre active et ouvrez un nouvel onglet. Nous y arriverons dans un instant.

Activation de l'API Google Assistant

Vous devez effectuer quelques ajustements en ligne pour continuer. Accédez au Site Web de l'API Google Assistant et cliquez Activer .

Le projet nécessite également des autorisations d'activité. Dirigez-vous vers votre Panneau de contrôle d'activité et assurez-vous que les activités suivantes sont activées:

Activité Web et d'application (avec case à cocher Historique Chrome)
Informations sur le périphérique
Activité vocale et audio

Vous pouvez maintenant passer à l'enregistrement de l'appareil.

Enregistrement de votre Raspberry Pi

De retour dans la console d’action, sélectionnez Enregistrement de l'appareil du panneau de gauche. Sous Produit créez un nom facile à retenir pour votre appareil. Le nom du fabricant n’est pas important (mais doit être là), et sélectionnez Auto pour le type d'appareil.

Le guide officiel de Google recommande de déplacer le fichier vers / home / pi , ouvrez le gestionnaire de fichiers et faites-le maintenant.

Étape supplémentaire pour les utilisateurs SSH:

Si vous utilisez SSH, vous aurez téléchargé le fichier JSON sur votre ordinateur local au lieu du Pi. Pour le transférer, ouvrez une fenêtre de terminal séparée sans connexion SSH. Depuis cette fenêtre, copiez le fichier JSON secret du client à l’aide de cette commande:


scp ~ / Téléchargements / client_secret_client-id.json pi @ raspberry-pi-ip-address: / home / pi /

Remplacez «raspberry-pi-ip-address» par l’adresse IP de votre Pi et n’oubliez pas les deux points avant le chemin. Si vous avez téléchargé le fichier JSON à un autre emplacement, modifiez votre chemin local pour en tenir compte. Entrez votre mot de passe lorsque vous y êtes invité, et le fichier sera copié dans le répertoire de base du Pi.

Revenez au terminal SSH et accédez à / home / pi . Entrer ls -l pour lister les fichiers dans le répertoire. Vous devriez voir le fichier JSON secret du client transféré.

Installer le SDK

Google recommande de travailler dans un environnement virtuel Python. Créez un nouvel environnement virtuel appelé env .

Si vous n’avez jamais fait cela auparavant, ce tutoriel vous aidera à apprendre à utiliser les environnements virtuels Python. .

Installez les dernières versions de Pip, Setuptools et Wheel et de l'environnement virtuel activater:


env / bin / python -m pip install - roue de mise à niveau de pip setuptools
source env / bin / activate

L’assistant Google contient des dépendances que vous devez installer dans l’environnement virtuel maintenant.


sudo apt-get install portaudio19-dev libffi-dev libssl-dev libmpg123-dev

Enfin, installez l'outil Google Assistant SDK, Samples et OAuth.


python -m pip install --upgrade google-assistant-library
python -m pip install --upgrade google-assistant-sdk [exemples]
python -m pip install --upgrade google-auth-oauthlib [outil]

C'est tout ce qu'il faut pour être opérationnel. Si l’une des installations échoue, vérifiez l’orthographe et l’espacement.

Authentification du Raspberry Pi

Utilisez le google-auth-oauthlib [outil] avec le fichier JSON d’identité téléchargé précédemment pour authentifier votre Raspberry Pi.


google-oauthlib-tool --scope https://www.googleapis.com/auth/assistant-sdk-prototype \
      --scope https://www.googleapis.com/auth/gcm \
      --save --headless --client-secrets /home/pi/YOUR_CLIENT_SECRET_ID.json

Vous devrez remplacer YOUR_CLIENT_SECRET_ID par le fichier téléchargé. Il est donc intéressant de copier le nom de fichier en premier. Cet ID client doit être correct. Ne changez pas le nom du fichier!

Vous devriez recevoir un message avec un lien vous demandant de coller un code d'autorisation.

En cliquant sur le lien ouvre le navigateur. Vous serez invité à activer l'appareil sur votre compte Google. Copiez le code d'autorisation qui suit et collez-le dans la fenêtre de votre terminal.

Vous devriez recevoir une confirmation de lecture Références sauvegardées: / home / pi… , ce qui signifie que le Pi a été autorisé avec succès avec votre compte Google.

Le tester

Maintenant que tout est en place, il est temps de tester votre assistant Google Pi. Exécutez l'assistant avec cette commande:


googlesamples-assistant-hotword - id-projet my-dev-project - id-modèle-appareil my-model

Vous devrez remplacer mon-dev-projet avec votre ID de projet (situé sous la roue dentée Settings de la console d’action). Votre device-model-id est répertorié dans la section Enregistrement de périphérique de la console d'actions.

Essaye le! Dites «OK Google» et posez une question. Vous pouvez voir la sortie du programme dans le terminal lorsque vous entendez la réponse:

C'est tout! Google Assistant est maintenant exécuté sur votre Raspberry Pi. Notez que si le volume de sortie est un peu faible, vous pouvez le modifier en disant "Hé Google, réglez votre volume jusqu'à 80%."

Bonus: GPIO à commande vocale

Il est possible de contrôler les lumières avec un Arduino et Siri , mais il existe une méthode plus simple. Si vous configurez un voyant, vous pouvez utiliser Google Assistant pour le contrôler avec votre voix.

La configuration de Google Assistant pour utiliser les broches GPIO est relativement simple, mais nécessite quelques étapes supplémentaires. Rendez-vous sur la console d’action Google et trouvez votre appareil sous Enregistrement de l’appareil. Cliquez dessus et ouvrez le menu des traits:

Tourne le Allumé éteint trait sur, et cliquez Sauvegarder.

Maintenant, assurez-vous d'être à l'intérieur du env environnement virtuel, clonez une version du SDK sur votre Pi à l’aide de git:


git clone https://github.com/googlesamples/assistant-sdk-python

Comme il s’agit d’un environnement virtuel, vous devez installer RPi.GPIO avant de poursuivre.


pip installer rpi.gpio

Maintenant, naviguez jusqu'au dossier contenant le hotword.py scénario.


cd assistant-sdk-python / google-assistant-sdk / googlesamples / assistant / library

Modifier le script

Vous devrez ajouter quelques lignes au script hotword.py, ouvrez-le dans l'éditeur nano:


nano hotword.py

Sous les instructions d'importation, ajoutez les vôtres pour RPi.GPIO.


importer RPi.GPIO en tant que GPIO

Cherchez le process_event méthode. À la ligne 66, supprimez ou commentez l'instruction print et ajoutez une instruction if pour contrôler le voyant.


#print ('Do commande', commande, 'avec params', str (params))
si commande == "action.devices.commands.OnOff":
    si params ['on']:
        impression('---------------')
            print ('Led allumé')
        impression('---------------')

            GPIO.output (18, GPIO.HIGH)
    autre:
            impression('---------------')
                print ('Led éteint')
            impression('---------------')

                GPIO.output (18, GPIO.LOW)

Cette logique contrôle le voyant mais n’a pas encore été configurée pour la sortie. Installez-le dans le principale() fonction avant que la méthode process_event soit appelée.


GPIO.setmode (GPIO.BCM)
GPIO.setup (18, GPIO.OUT, initial = GPIO.LOW)

Maintenant, la broche GPIO est définie sur sortie et s'initialise à l'état bas. Sauvegarder et quitter. Vous pouvez exécuter votre script modifié en transmettant votre numéro d'ID de modèle (trouvé dans la console d'action) en tant qu'argument.


python hotword.py --device-model-id YOUR-MODEL-ID-HERE

La sortie du terminal est la même que précédemment et l'assistant fonctionnera en standard. Maintenant, cependant, lorsque vous dites «OK Google, activez», vous verrez une nouvelle sortie:

Remarque: L'image ci-dessus a été recadrée, montrant uniquement l'assistant entendant la demande et la déclaration d'impression ajoutée au script.

Vous devriez voir votre LED s'allumer aussi!

Votre propre assistant personnel Google Raspberry Pi DIY

Ce projet est une bonne introduction à l'utilisation des services Google API. La modification du code d'exemple de Google facilite également l'apprentissage des bases de Python. .