Cómo validamos que tu bot está listo para operar
Cómo probamos los casos acordados, conservamos las mejoras y validamos el bot antes de tus pruebas y del paso a producción.
Para validar tu bot, comprobamos que responda y actúe según los casos de uso acordados, respete sus límites y utilice correctamente las integraciones incluidas. Esta guía explica cómo preparamos las pruebas, revisamos los resultados y coordinamos el paso a producción.
Adereso realiza una validación interna antes de entregar el bot para tus pruebas de calidad o QA. Tu equipo complementa esa revisión confirmando la información y las reglas del negocio.
Definimos qué significa funcionar correctamente
Preparamos un conjunto de casos de prueba y lo compartimos contigo. Para reconocer si cada caso cumple lo acordado, definimos:
- El objetivo del usuario y la consulta o tarea que realizará.
- El contexto y los datos necesarios para resolverla.
- La respuesta o acción esperada.
- Los límites que el bot debe respetar.
- Qué debe ocurrir si falta información, falla una dependencia o corresponde derivar.
Ejemplo ilustrativo: para consultar un pedido, el caso puede exigir identificar al usuario con los datos autorizados, consultar el pedido correcto e informar su estado. Si no hay información suficiente, debe pedir la aclaración necesaria. Si el sistema externo falla, debe manejar ese error sin inventar un estado.
El criterio se centra en el resultado. Cuando varias redacciones comunican correctamente la misma información, no se exige una frase idéntica. Los textos que deban conservarse de forma exacta se identifican expresamente.
Qué comprobamos
Área | Qué revisamos |
Conversación | Que entienda la solicitud, conserve el contexto y pida los datos necesarios. |
Información | Que utilice las fuentes del proyecto y respete las reglas de negocio. |
Acciones e integraciones | Que consulte o ejecute lo autorizado y entregue el resultado correcto. |
Límites y permisos | Que respete las restricciones acordadas y maneje correctamente los datos faltantes. |
Derivación | Que transfiera la atención cuando corresponda, con el contexto previsto. |
Regresión | Que los ajustes conserven los comportamientos ya validados. |
Durante el desarrollo creamos tests para comprobar los recorridos frecuentes y críticos. Los conservamos como pruebas de regresión y los volvemos a ejecutar al agregar capacidades o hacer ajustes, para detectar si algún comportamiento validado dejó de funcionar. Los casos nuevos de la operación se incorporan cuando corresponde.
Probamos el bot y sus dependencias
Una prueba con respuestas simuladas de un sistema externo permite revisar cómo decide y responde el bot. Para confirmar la integración, también se necesita comprobar el recorrido con el sistema correspondiente en un entorno autorizado.
Si la solución atenderá por un canal como WhatsApp o webchat, la comprobación debe incluir ese canal cuando corresponda. Un resultado correcto en el entorno de pruebas no acredita por sí solo la entrega al usuario final.
Cuando una acción modifica información, la prueba debe utilizar un destino y datos autorizados para ese propósito.
Revisamos los resultados en el Portal Cliente
En el Portal Cliente quedan los resultados del QA interno y del cliente, los hallazgos resueltos y los pendientes. El Project Manager o PM mantiene actualizados su estado y las próximas acciones, junto con los avances del proyecto.
Los resultados distinguen casos que cumplen lo esperado, fallas funcionales, decisiones que requieren revisión humana y pruebas que no pudieron verificarse o ejecutarse correctamente.
Si se presenta un porcentaje de cumplimiento, se explica qué casos lo componen y cuáles quedaron fuera por falta de evidencia o problemas técnicos. El porcentaje no reemplaza la revisión de los casos críticos.
La IA generativa puede producir respuestas diferentes ante consultas similares. Las expectativas de calidad se evalúan contra los criterios y las condiciones acordados para el proyecto.
Cómo participa tu equipo
Tu contraparte revisa que el conocimiento esté actualizado y que los resultados esperados reflejen las reglas reales del negocio. También aporta ejemplos críticos y consolida los comentarios dentro de la ventana acordada con el PM.
Al reportar un hallazgo, indica el caso, el resultado obtenido y el esperado. El PM coordina su clasificación y seguimiento; las solicitudes nuevas se evalúan por su impacto antes de incorporarlas al alcance.
Coordinamos el paso a producción
El PM y el equipo técnico revisan los resultados, la configuración productiva, los canales y los riesgos o pendientes relevantes. La coordinación incluye la ventana de salida y las medidas de contingencia disponibles para el proyecto.
La validación de QA y las decisiones sobre el paso a producción quedan registradas en el Portal Cliente, junto con los resultados y pendientes correspondientes. El PM coordina este registro y las decisiones necesarias según las condiciones del proyecto.
Al conectar los canales, comprobamos el comportamiento real y registramos la entrega. La validación continúa en marcha blanca con análisis proactivo desde el primer día, según una cadencia definida para el proyecto.
Los hallazgos de producción alimentan los ajustes y, cuando corresponde, los tests de regresión. Su seguimiento queda en el Portal Cliente.
Qué evidencia corresponde a cada momento
La validación distingue tres conclusiones:
- Comportamiento validado: los casos probados cumplen los criterios establecidos.
- Funcionamiento productivo verificado: se comprobó el recorrido con las integraciones y canales involucrados.
- Valor observado: existen datos de uso para evaluar el resultado de negocio.
El ahorro, la conversión o la mejora de atención se evalúan con mediciones posteriores y una base de comparación adecuada. Las pruebas previas permiten validar comportamientos; las conversaciones reales permiten medir su resultado en operación.