Mais dans la pratique, des écueils attendaient. Parlons de ce qui peut arriver si vous modifiez un peu la conception ou si vous manquez le remplissage de votre modèle. Et comment y remédier.
Je voulais profiter aux nouveaux utilisateurs, mais ils ne se sont naturellement pas comportés comme prévu
Le principal outil de vente de Skyeng est un didacticiel vidéo d'introduction gratuit avec un animateur. Nous donnons des cours sur notre plateforme, et il arrive qu'un élève tente de se connecter à un appel, mais son microphone ou sa caméra ne sont pas capturés.
Cela peut arriver pour des dizaines de raisons - d'un banal misklik sur une notification dans le navigateur (comme sur cette image) à des cas complètement exotiques: par exemple, une fois qu'une personne a essayé de travailler à partir de Tesla, et là son propre logiciel que nous ne prenons pas en charge.
Si vous ne pouvez pas résoudre rapidement le problème, une panne technique de la leçon d'introduction se produit:
- l'élève reste négatif,
- la leçon du professeur est interrompue,
- l'école perd la conversion en paiement ici et maintenant (c'est la principale métrique de notre département), compense la participation de l'enseignant à la leçon et commence le processus de transfert de la leçon.
Tout le monde souffre. Par conséquent, l'année dernière, nous avons lancé une série de projets pour réduire les perturbations techniques. Chaque idée a été testée: l'entreprise voulait savoir si la fonctionnalité fonctionnait et si les coûts de sa prise en charge seraient récupérés.
L'une des solutions à mettre en œuvre dans le test était la quête de vérification de l'équipement. A l'origine c'était un widget, voici ses principaux écrans.
L'idée est simple: n'attendez pas le moment pour entrer dans la leçon, mais invitez l'étudiant à vérifier la caméra et le microphone à l'avance - lorsqu'il a laissé une demande de formation. Si quelque chose ne va pas, nous formerons un ticket pour le support technique, et les gars auront plusieurs heures pour résoudre le problème.
Lorsque j'ai divisé les utilisateurs en test et contrôle, je m'attendais à ce que les personnes du groupe de test cliquent sur le widget et terminent la quête. Qu'est-ce qui pourrait mal se passer?
Dans le groupe témoin («A»), tout s'est déroulé comme d'habitude - les gens ont laissé une application et vaquaient à leurs occupations. Mais après le test, nous avons vu que le pourcentage de pannes techniques dans les groupes «A» et «B» était similaire à un centième de pour cent. Hmm, tous dans le groupe de test ont terminé la quête, mais cela n'a pas aidé, ou personne n'est entré? Nous ne savions pas - il n'y avait pas de journalisation.
Les deux étapes ont fusionné en une seule, et il s'est avéré que nous ne pouvons pas les séparer. J'ai dû recommencer le test et enregistrer l'étape clé «entré dans la quête». Nous avons découvert qu'environ 10% des utilisateurs y étaient connectés. Il n'y a pas eu de croissance significative de la métrique: la quête est tombée dans l'oubli, le contrôle de l'équipement lui-même a finalement été intégré à l'intégration lors d'une refonte globale. Et maintenant, je vérifie au début si j'ai des données sur toutes les étapes clés de l'entonnoir.
« - ?». ,
En plus des problèmes techniques, parfois l'élève n'apparaît tout simplement pas à cette leçon d'introduction très gratuite - parce qu'il a dormi trop longtemps, s'est envolé de sa tête, quelque chose a été transféré, etc.
Par conséquent, avant chaque cours, le méthodologiste doit trouver un élève prêt à appeler: pour cela, le système lui donne plusieurs contacts, et l'enseignant les appelle. Cela «ronge» 12 à 15% du temps qu'une personne peut consacrer à quelque chose de plus utile ou agréable.
Cela semble être une bonne opportunité d'automatisation - laissez le robot appeler. Mais nous avons besoin d'un test A / B: après tout, certaines personnes, ayant entendu le robot, peuvent raccrocher. La possibilité de perdre quelque chose est évidente. Nous avons fait le test et au début, tout s'est très bien passé, mais ... nous avons été déçus par le perfectionnisme.
Dans un certain nombre de scénarios, le robot devait transférer les appels vers un opérateur humain: par exemple, si un étudiant souhaitait annuler une leçon, l'opérateur devait apporter des modifications au CRM. Et parfois, le robot rencontrait simplement des interlocuteurs bavards - le système n'était pas conçu pour une reconnaissance vocale sérieuse et un support de dialogue, ici aussi, il était nécessaire de connecter une personne.
Nous voulions rendre l'expérience utilisateur la plus fluide possible.
Par conséquent, nous avons décidé de basculer immédiatement ces appels sur la ligne téléphonique entrante. Même si la question n'était pas urgente. Les méthodologistes dans les mêmes cas ont dit: "Vous serez rappelé dans 3-5 minutes pour réaffecter la leçon." Et les opérateurs ont eu le temps de répartir la charge de travail et d'aider tout le monde.
Les opérateurs ne pouvaient pas être d'accord avec le robot, et cela a créé des pics avec plusieurs appels urgents par minute. Le circuit s'est avéré non évolutif.
Aux moments de pointe, la situation ressemblait à un jeu classique) Pour la photo, merci à Wikipédia et à son contributeur perepelin30 .
Nous sommes revenus au schéma utilisé par les méthodistes - si une personne exprimait clairement une demande de transfert, le robot répondait «Nous vous rappellerons». Seuls les problèmes potentiellement urgents ont été immédiatement transférés aux opérateurs. Après ces modifications, le test a dû être réexécuté, car le changement pouvait affecter les métriques clés. Et maintenant, avant chaque expérience, on se pose la question: "Ok, si tout se passe bien, pouvons-nous le déployer?"
J'ai lancé le test, vérifié que tout se passait bien, est allé ratisser un tas de tâches en cours
Skyeng a un public très cool et grandissant - des enfants qui enseignent les mathématiques et l'anglais avec nous. Mais on ne peut pas donner une leçon d'introduction à un enfant si son parent n'est pas présent. Nous ne pouvons pas légalement. Par conséquent, si l'enfant se connecte seul, la leçon est interrompue. Ensuite, vous savez: négatif, réenregistrement, etc.
Les parents étaient toujours avertis à ce sujet oralement, lorsqu'ils appelaient, au moment où l'heure de la leçon était convenue. Mais le temps passa de l'appel à la leçon et, bien sûr, tout le monde ne se souvenait pas de cet accord.
Puis la solution est venue: envoyons un rappel par SMS. À peu près, un tel texte a été laissé au parent plus près de l'heure de la leçon d'introduction.
Une augmentation du nombre de cours d'introduction sans interruption ne signifie pas une augmentation de la conversion en rémunération. Vous devez estimer le ROI. Pour ce faire, faisons une expérience:
- nous diviserons au hasard toutes les demandes de renvoi des enfants en deux groupes,
- nous n'enverrons rien aux parents du premier groupe - ils ont un flux régulier,
- les parents d'un autre groupe recevront deux rappels par SMS: 24 heures et 1 à 2 heures avant le début de la leçon.
Nous avons commencé le test, fait le contrôle le premier jour - et sommes allés nettoyer le chiffre d'affaires.
Après quelques semaines, je regarde dans le tableau de bord - et là, en plus des groupes de test et de contrôle, il y a d'autres utilisateurs.
Si nous voulions diviser 50 par 50, alors le graphique rouge indique clairement que quelque chose s'est mal passé.
Il s'est avéré qu'un bug banal était à blâmer: quelque chose n'allait pas avec les événements, tout le monde n'envoyait pas de SMS sur les déclencheurs. Le bogue a été corrigé, mais le test a dû être redémarré: à la fin, même si vous avez la bonne conception de test, avec tous les modèles remplis, etc., cela ne signifie pas que le test se déroulera correctement. Et vous devriez l'examiner aussi souvent que possible.
ps J'espère vraiment que ce texte aidera quelqu'un à faire moins d'erreurs dans ses tests. Très probablement, vous aurez ou aurez déjà vos propres cas amusants: ce sera cool si vous les partagez aussi un jour!
pps Post basé sur un rapport de la communauté informatique de Rostov RnDTech - si vous habitez quelque part dans le sud du pays, rejoignez-nous, les gars font un grand pas.