Vea cómo la solución de calidad continua de Parasoft ayuda a controlar y administrar los entornos de prueba para ofrecer software de alta calidad con confianza. Regístrese para la demostración >>
¡Cada vez más equipos se están dando cuenta de que una regresión en el rendimiento puede tener un impacto tan grande en la calidad de la aplicación como una regresión en la funcionalidad! Por lo tanto, nos enfocamos en las pruebas de rendimiento y en cómo integrar mejor las pruebas de carga y rendimiento en la entrega de aplicaciones.
Puede comenzar a integrar las pruebas de rendimiento en la canalización de entrega continua agregando pruebas de rendimiento seleccionadas a Jenkins, o una herramienta de integración continua de su elección, y haciendo que se ejecuten con regularidad.
Según sus necesidades, puede ejecutar pruebas de rendimiento en uno o más de los siguientes puntos de la infraestructura de compilación / prueba:
Sin embargo, esto por sí solo no es suficiente.
El análisis manual de los informes de pruebas de carga puede llevar mucho tiempo y puede requerir habilidades especiales que no todos los desarrolladores poseen. Sin la capacidad de automatizar el análisis del informe de la prueba de carga, la revisión de los resultados de la prueba de rendimiento se convierte en una tediosa pérdida de tiempo. También se puede pasar por alto información vital sobre el rendimiento. En tales escenarios, es posible que esté ejecutando pruebas de rendimiento de forma continua, pero el beneficio de ellas será limitado.
Para obtener el máximo beneficio de las pruebas de rendimiento continuas, debe configurar un mecanismo eficaz para analizar los resultados de las pruebas de rendimiento. Prueba de carga de Parasoft y su LoadTest Continuum (un módulo de Prueba SOA de Parasoft) le proporcionan herramientas que ayudan a automatizar la recopilación y el análisis de los resultados de las pruebas de rendimiento y le brindan información sobre el rendimiento de su aplicación.
Los siguientes pasos lo ayudarán a configurar su entorno para la ejecución continua de pruebas de rendimiento con Parasoft LoadTest y LoadTest Continuum:
Seguiré estos pasos individualmente con más detalle a continuación.
Las métricas de calidad de servicio (QoS) de Parasoft LoadTest son una de las características clave para automatizar el análisis de los resultados de las pruebas de rendimiento. Las métricas de QoS reducen grandes cantidades de datos en un informe de prueba de carga a un conjunto de respuestas de éxito / fracaso sobre el rendimiento de su aplicación. Parasoft LoadTest ofrece un amplio conjunto de métricas de QoS que van desde métricas de umbral listas para usar hasta métricas con secuencias de comandos personalizadas que le permiten utilizar la API de LoadTest para el análisis avanzado de datos de pruebas de carga.
Para preparar sus pruebas de rendimiento para la automatización, debe revisar las métricas de QoS en sus proyectos de LoadTest. Ejecute un proyecto LoadTest y examine el informe: todos los criterios de éxito y fracaso que utilice para analizar manualmente un informe de prueba de carga deben representarse como métricas de QoS. Convierta tantas métricas como pueda en métricas "numéricas". Una métrica numérica de QoS no solo devuelve un resultado de éxito / fracaso, sino que también cuantifica un indicador clave de rendimiento para esa métrica. Por ejemplo, una métrica que valida un umbral de utilización de la CPU también proporcionaría el valor real de la utilización de la CPU como métrica numérica.
Las métricas numéricas se utilizan ampliamente en LoadTest Continuum para trazar el rendimiento de las métricas a lo largo del tiempo:
Fig. 1. Resultados de métricas numéricas trazados en un informe de LoadTest Continuum.
Una vez que haya configurado las métricas de QoS para sus proyectos LoadTest, es hora de configurar LoadTest Continuum para la recopilación y el análisis de datos de rendimiento.
Implemente y configure el archivo de aplicación web LoadTest Continuum ltc.war (disponible en el directorio de instalación SOAtest / LoadTest a partir de la versión 9.10.2), como se describe en la sección “LoadTest Continuum” de la documentación de LoadTest.
Combine sus proyectos LoadTest en scripts .cmd para la ejecución por lotes. Los scripts LoadTest .cmd son la forma de especificar grupos de proyectos que compondrán diferentes conjuntos de pruebas de rendimiento, como las pruebas de "humo", las pruebas diarias o las pruebas de fin de semana mencionadas anteriormente.
Configure los scripts .cmd para enviar datos de informes a LoadTest Continuum como se describe en la sección "Envío de informes a LoadTest Continuum" de la documentación de LoadTest. Configure su herramienta de integración continua para ejecutar scripts LoadTest .cmd como parte de un proceso de compilación o en intervalos regulares. Por ejemplo, en Jenkins puede ejecutar un script LoadTest .cmd usando el paso de compilación Ejecutar el comando por lotes de Windows de la siguiente manera:
% SOATEST_HOME% \ lt.exe ”-J-Xmx4096M -cmd -run“% WORKSPACE% \ ltcontinuum.cmd
DTP de Parasoft contiene paneles de informes y análisis que le permiten monitorear el estado y el progreso de su proyecto de software con una variedad de widgets e informes.
Un continuo de pruebas de carga de Parasoft Widget de DTP le permite agregar el resumen de resultados de LoadTest más reciente al tablero de su proyecto de DTP y ofrece una forma rápida de evaluar el estado de los resultados de la prueba de rendimiento en su rutina diaria de revisión del estado del proyecto.
El widget muestra el número de pruebas y métricas totales, aprobadas y fallidas de las ejecuciones de LoadTest más recientes. Para ver los resultados con más detalle, haga clic en el enlace del proyecto en el widget y la página LoadTest Continuum se abrirá en una nueva pestaña.
Fig. 2. LoadTest Continuum widgets en un tablero de DTP.
Para configurar un widget HTML personalizado LoadTest Continuum en DTP, simplemente siga estos pasos:
Parasoft LoadTest Continuum sirve como punto de recopilación para sus informes de LoadTest y como herramienta de análisis que organiza los datos de las pruebas de carga de múltiples ejecuciones. LoadTest Continuum organiza los datos en una pirámide de información que le permite revisar los resultados de sus pruebas de rendimiento en varios niveles de detalle, desde resúmenes diarios de alto nivel en la parte superior, hasta resultados de métricas de QoS en el núcleo, hasta informes detallados de pruebas de carga en el fondo:
Higo. 3. La vista de resumen diario y métricas de prueba de LoadTest Continuum.
Considere el siguiente flujo de trabajo como un ejemplo de una revisión de prueba regular (diaria):
Higo. 4. Continuo de prueba de carga Todos los gráficos de la misma vista de métrica muestran una mejora del rendimiento de la métrica de porcentaje de CPU en varias pruebas.
La integración de un proceso de prueba de rendimiento en la tubería de entrega continua es esencial para garantizar la calidad del software. Para aprovechar al máximo este proceso, debe configurar un mecanismo eficaz para la automatización del análisis de los resultados de las pruebas de rendimiento.
Puede configurar Parasoft LoadTest y LoadTest Continuum dentro de Parasoft SOAtest, que proporciona todo lo que necesita para lograr todos sus elevados objetivos de automatización de análisis de resultados de pruebas. Con una automatización sofisticada dentro de las pruebas funcionales, puede obtener software de mayor calidad.
Aprende más:
Sergei es un ingeniero de software principal en Parasoft, y se centra en las pruebas de carga y rendimiento dentro de Parasoft SOAtest.