Nous vous parlerons de notre nouveau produit en détail dans cet article. Le plan est le suivant:
- pourquoi vous avez besoin d'un assistant vocal médical;
- principaux cas d'utilisation;
- de quels composants la solution se compose;
- comment les tâches sont traitées et attribuées.
Comment fonctionne le DIH
Pourquoi vous avez besoin d'un assistant vocal médical (IHP)
Le DIH a deux objectifs principaux.
- . , : , ( ) , , .
- . , , . / , .
Ici, nous examinerons les scénarios de base d'utilisation d'un assistant vocal qui conviennent à presque tous les hôpitaux. Bien sûr, il peut y avoir beaucoup plus d'options - tout dépend des besoins d'une clinique particulière.
Appel médecin / infirmière . Convient aux cas où le patient a besoin de l'aide du personnel médical. Dès que le patient prononce un mot clé - par exemple «analgésique», «douloureux», «besoin d'une injection» - le système attribue la tâche au groupe de spécialistes nécessaire et fixe le délai de décision.
Exécution automatique des requêtes... Le patient demande des informations d'aide qui sont déjà dans la base de connaissances - par exemple, l'horaire de la cafétéria. Le DIH trouve l'article pertinent par mots-clés et l'exprime au patient. Le patient est heureux, tout comme les infirmières: elles peuvent accomplir des tâches plus importantes.
Communication bidirectionnelle . Il est utilisé lorsque le patient a besoin d'une consultation spécialisée - par exemple, si vous devez demander à votre médecin des détails sur la posologie et le calendrier de prise d'un nouveau médicament.
Composantes du DIH
L'assistant vocal médical peut résoudre une variété de tâches, des plus simples aux plus complexes. Cependant, sa polyvalence est combinée à une facilité de mise en œuvre. Au niveau des composants, il s'agit d'une solution logicielle et matérielle plutôt minimaliste - nous l'avons délibérément visée.
Le DIH comprend 4 modules de base.
- Terminal patient. Il se compose d'un microphone pour recevoir le son, de haut-parleurs pour reproduire les messages du système (et des médecins) et d'un micro-ordinateur qui traite les informations du patient et interagit avec d'autres composants.
- Système de reconnaissance et de synthèse de la parole. Le système peut être utilisé dans le cloud ou installé localement.
- Système de comptabilité et traitement des demandes. L'application Web dans laquelle travaille le personnel médical. Implémenté sur la base de la plateforme ESM pour l'automatisation des processus métier SimpleOne .
- Terminaux pour médecins et infirmières. Tablettes ou PC connectés au système de comptabilité et de traitement via Wi-Fi ou LAN.
Traitement des demandes vocales
Le terminal du service sert de centre de communication entre le patient, le système de reconnaissance et de synthèse de la parole (SRS) et le système de traitement de la comptabilité et des demandes (CPS).
En général, le processus de traitement des demandes ressemble à ceci:
- le terminal attend constamment un mot-clé;
- si un mot-clé est prononcé, le terminal enregistre un court son (4–5 s);
- l'audio est envoyé au CPC;
- le terminal envoie une réponse du CPC au système de contrôle;
- le terminal annonce les informations au patient en fonction de la logique CPS prédéfinie (modèle).
La capture d'écran montre un exemple de traitement d'une demande avec un enregistrement radiographique
Pour une interaction plus confortable, en plus des réponses standard «Votre demande a été acceptée, attendez de l'aide», le DIH reproduit des signaux spéciaux - par exemple, sur le début et fin de l'enregistrement du message du patient.
Attribution de tâches basées sur des modèles
Dans le système, vous pouvez configurer des modèles de requête uniques, dont chacun peut se voir attribuer des conditions d'activation - les mots-clés requis. Dès que le client prononce le mot-clé prescrit dans le modèle, le système active la requête et attribue la tâche à un groupe spécifique de spécialistes, ou, par exemple, annonce les informations nécessaires à partir de la base de connaissances.
Le système dispose d'un tableau «Messages», qui stocke toutes les phrases prononcées par le patient. Le système surveille la table des messages entrants et crée une requête si le message correspond à la condition du modèle.
Exemple
Pour le modèle de demande «Analgésique pour un patient», sélectionnez le mot-clé «douloureux». Nous attribuons une priorité élevée à la demande, sélectionnons la méthode «Personnel infirmier» et connectons le groupe d'interprètes requis - infirmières. Désormais, si le patient dit «ça fait mal», le DIH attribuera automatiquement la tâche au groupe des infirmières. Les membres du groupe recevront une notification indiquant que la tâche a été assignée; le message du patient sera reflété dans le champ «Description» de la demande.
Vue du modèle de requête
En parallèle, la tâche est fixée dans le compteur de contrôle du temps de réponse (SLA). Dans notre exemple, nous avons 10 minutes pour résoudre le problème. Si le spécialiste ne respecte pas le délai, le problème est transmis au médecin supérieur ou au groupe (les scénarios d'escalade sont également configurables).
Compteur SLA
Un nombre illimité de modèles de demande peut être créé dans le système. Cela peut être fait par des employés ayant des droits d'administrateur.
Modèles de requêtes
Pourquoi nous avons choisi Pocketsphinx, Python et SQLite3
Dans la solution prototype, nous avons utilisé un micro-ordinateur de la famille Raspberry Pi et le système d'exploitation de base Raspbian GNU / Linux. Terminal est une application simple écrite en Python utilisant des requêtes REST vers des systèmes auxiliaires et la bibliothèque Pocketsphinx (LiveSpeech).
La bibliothèque Pocketsphinx est bonne car elle permet d'améliorer les performances de la première réponse - la recherche d'un mot-clé. Le système de reconnaissance et de synthèse de la parole utilise des mécanismes et des dictionnaires complexes pour la reconnaissance. En gros, Pocketsphinx accélère le processus de reconnaissance des mots-clés pour éviter les expériences client négatives. Pocketsphinx est également facile à configurer et peut fonctionner dans plusieurs modes.
L'utilisation de Python et Pocketsphinx étend considérablement les fonctionnalités du terminal. Pour éviter que les patients ne s'ennuient, des jeux peuvent être ajoutés au DIH. Dans le prototype, par exemple, nous avons implémenté un jeu simple "Cities".
L'API REST standard est utilisée pour intégrer le CDS et le KMS.
Voici un exemple d'adresse CPS (nous envoyons un message POST vers le CPS, analysons la réponse, et ainsi de suite dans un cercle):
url = 'https://user:pass@mva.simpleone.ru/rest/v1/table/mva_itguild_inquiry'
payload = {«description»: text, «subject»: «mva_inquiry»}
header = {'Accept': 'application/json;charset=UTF-8','Content-Type': 'application/json;charset=UTF-8'}
response = requests.post(url,data=json.dumps(payload), headers=header)
i_json = response.json()
La synthèse vocale continue à l'aide de CPC n'est pas un processus rapide, car elle est assez vaste: autorisation, demande, traitement. Pour l'accélérer, une base de données SQLite3 locale est utilisée pour stocker les réponses des patients précédemment générées. Cette solution est bien adaptée au traitement des demandes avec un scénario constant - par exemple, lors de la communication d'informations sur l'emplacement des cabinets de médecins et des salles de soins, l'horaire de la cantine.
Un autre point important est la journalisation. Sans cela, il est impossible de travailler sur des améliorations et des corrections de bogues. Par conséquent, le terminal met en œuvre la journalisation à la fois du processus général de fonctionnement de tous les systèmes adjacents et des composants individuels.
Quel est le résultat
Attribuer des tâches au personnel médical à l'aide de la commande vocale n'est pas seulement une question de commodité (pour les médecins et pour les patients), c'est aussi la possibilité d'une sérieuse optimisation des processus de travail dans les hôpitaux. Plus les hôpitaux ont d'occasions de rendre leurs soignants plus confortables et productifs, meilleure sera la qualité des soins aux patients.
Nous voulions créer une solution multifonctionnelle vraiment utile pour les hôpitaux, tout en utilisant un minimum de services prêts à l'emploi. Mais le principal avantage du DIH est peut-être sa polyvalence. L'assistant vocal peut être rapidement déployé dans un hôpital de toute taille et de tout profil. Vous pouvez optimiser le logiciel «à la volée», en tenant compte des tâches d'une institution médicale particulière et des conditions en évolution rapide.