Bonjour, Habr! En collaboration avec Harmony OS, nous avons présenté la cinquième version de HMS Core, un ensemble d'outils que vous pouvez utiliser pour développer des applications pour l'écosystème Huawei. Nous avons ajouté de nouvelles possibilités de travail avec le contenu, axées sur la sécurité des données, l'interaction entre les appareils et élargi les possibilités des outils d'IA - nous en avons parlé en détail lors de notre conférence HDC.Together , et dans cet article, nous donnerons un aperçu des nouvelles capacités HMS.
Outils pour travailler avec ML et AI
Les principaux services pour travailler avec l'IA sont inclus dans le kit ML et vous permettent de travailler avec du texte, de la voix, des images, des technologies AR / VR. Dans HMS Core 5.0, nous avons augmenté le nombre de langues prises en charge à 50 et pouvons traduire entre 20 langues, tandis que les enregistrements textuels et vocaux sont acceptés comme entrée. ML Kit peut également être utilisé pour filtrer le spam et toutes les images obscènes.
Avec ML Kit, il est possible de convertir des enregistrements vocaux au format texte et vice versa, et nous avons étendu cette fonctionnalité avec Video Course Creator, qui crée automatiquement des cours éducatifs: il prend en entrée le programme éducatif, les commentaires de l'enseignant et les paramètres audio et vidéo prédéfinis - pendant la diffusion, l'enseignant peut se référer au matériel nécessaire et tous les matériaux enregistrés sont assemblés en un seul cours.
Nous avons mis un accent particulier sur la reconnaissance faciale, les gestes et les poses. Grâce à cela, en utilisant ML Kit, vous pouvez effectuer une authentification faciale - le système est connecté via l'API et peut être utilisé pour un accès rapide aux applications sans aucune action supplémentaire.
Vous pouvez travailler avec des outils AI et ML à différents niveaux:
- HiAI , , NPU-.
- Ability Gallery AI .
AR/VR
Notre moteur AR analyse les informations sur l'éclairage, le plan, la forme de l'objet, le type de surface et peut rechercher des objets spécifiés dans l'espace. Séparément, le système peut créer un schéma 3D à l'aide de points d'ancrage et suivre les mouvements humains, les gestes et les expressions faciales. Par exemple, 21 points sont attribués pour déterminer la position de la main et 23 points sont attribués à la position du corps. Le système peut désormais reconnaître 6 poses et analyser 2 personnes à la fois.
Avec la cinquième version, HMS Core CameraKit propose différents modes de prise de vue: grande ouverture, mode portrait, HDR, flou d'arrière-plan, mode supernight et d'autres comme eux. Il est également devenu possible d'utiliser l'IA dans la prise de vue photo et vidéo pour la présélection des filtres et la correction des couleurs.
Collaboration d'appareils
La nouvelle version de HMS Core dispose de plusieurs nouveaux moteurs de collaboration entre différents appareils. Nous avons simplifié les interactions entre les appareils et les objets intelligents à l'aide du moteur DeviceVirtualization . Il convertit les périphériques en objets virtuels et permet au téléphone de fonctionner avec eux de la même manière qu'avec les fonctions normales.
Dans le même sens, nous avons développé le Cast Engine , qui permet au téléphone de fonctionner en mode multi-écrans et de transmettre des images à la télévision en haute définition. Nous prévoyons également d'ajouter la possibilité de travailler avec Cast Engine via d'autres applications.
Un autre nouveau moteur OneHop Kitfonctionne avec NFC et vous permet de transférer en toute sécurité des données entre appareils avec une seule touche. Avec lui, vous pouvez synchroniser les appareils Huawei entre eux, transférer des fichiers et ouvrir des applications sur d'autres appareils avec les mêmes paramètres que sur le principal. Jusqu'à présent, cela ne fonctionne qu'entre les téléphones et tablettes Huawei, nous fournissons donc un moteur de partage pour la communication avec d'autres appareils , qui offre des vitesses allant jusqu'à 80 Mb / s via Bluetooth.
Vidéo et audio
Dans la nouvelle version, nous avons développé plusieurs nouveaux outils SDK pour travailler avec l'audio et la vidéo. Le kit audio et le kit vidéo prennent en charge les principaux formats de fichiers et codecs et peuvent être facilement intégrés à l'application et lire, enregistrer et supprimer des listes, lire des séquences, ajuster la vitesse de lecture. Tous les fichiers audio et vidéo sont protégés par des algorithmes de cryptage.
Le kit audio dispose désormais d' un moteur audio pour enregistrer le son en haute qualité avec l'optimisation du retard et d'autres fonctions de l'instrument. Le moteur vidéo, quant à lui, prend en charge les principaux protocoles HTTP, HTTPS, HLS, DASH. Il vous permet également d'organiser la diffusion en continu à partir de services tiers à l'aide du SDK Video Kit WisePlayer.
Basé sur notre serviceHuawei Meetime a lancé le kit Caas pour les appels vidéo, qui permet la lecture et la transmission d'images HD même avec des connexions instables. Le moteur vous permet également de partager l'écran, de dessiner des griffonnages et, à l'aide des technologies de virtualisation, de transférer des images vers n'importe quel autre appareil, qui peut être utilisé pour des conférences professionnelles.
Images et rendu 3D
Image Kit est apparu pour le traitement d'image - il propose plus de 20 filtres et effets visuels, y compris l'animation avec rendu. Il comprend 2 SDK: Image Vision SDK pour travailler avec des filtres de couleur et Image Render SDK pour utiliser des effets d'animation.
Scene Kit est conçu pour fonctionner avec des objets 3D: il utilise la méthode de rendu physiquement correct (PBR) et permet aux applications de se connecter via API et de recevoir des modèles 3D d'objets complexes. Le moteur propose trois scénarios: SceneView pour les scènes partagées (non AR), ARView pour les scènes AR partagées et FaceView pour travailler avec des visages dans des scènes AR.
Analytique et sécurité
Dans Huawei Core 5.0, nous avons lancé le système de balisage Dynamic Tag Manager (DTM) pour suivre l'activité marketing des utilisateurs: il s'intègre à la fois aux services Huawei eux-mêmes et aux plates-formes tierces pour l'envoi et le traitement des données. À l'aide du DTM, vous pouvez mettre à jour dynamiquement les balises dans l'interface utilisateur Web, suivre des événements spécifiques et envoyer des données à des plates-formes d'analyse tierces. Nos systèmes se concentrent sur la sécurité, c'est pourquoi le moteur DTM est également utilisé comme système anti-fraude pour suivre les activités suspectes.
L'une des fonctionnalités de la nouvelle version de HMS est l'authentification faciale à l'aide de LocalAuthentication Engine... Il fonctionne avec une caméra infrarouge qui construit le modèle à partir des points de référence et s'authentifie avec le kit ML.
Enfin, nous avons prêté attention à la protection du contenu: pour les fichiers audio, le cryptage du cache est utilisé, pour la vidéo - système anti-lytique et authentification lors de la lecture, et pour travailler avec une caméra - cryptage de bout en bout. Toutes les données HMS sont stockées dans un environnement TEE de confiance , dans lequel le cryptage est effectué.
Où puis-je en savoir plus?
Tous les enregistrements de la conférence HDC.Together sont disponibles ici . Ici, vous pouvez écouter les rapports sur les mises à jour de la plate-forme, les principaux scénarios d'utilisation des outils HMS et poser des questions techniques sur le Huawei Developer Forum ou Stackoverflow avec la balise huawei-mobile-services .