Si bien las soluciones en la nube ciertamente pueden proporcionar facilidad de uso y una integración sencilla, a menudo terminan presentando problemas inesperados o imprevistos, como el cumplimiento de GDPR y CCPA o costos elevados.

También hay otros problemas que a menudo no se consideran desde el principio, como la falta de acceso o control total sobre los datos almacenados o la necesidad de procesar los datos de una manera diferente.

El Desafío: Recopilar registros de diversas fuentes y permitir su fácil acceso

Los criterios del proyecto fueron los siguientes:

• Recopilar registros de servidores físicos, aplicaciones ejecutándose en entornos nativos y contenedores Docker.
• Almacenar los registros en una ubicación centralizada donde pudieran procesarse fácilmente a corto plazo.
• Almacenar los registros en un almacenamiento a largo plazo para cumplir con los requisitos regulatorios.
• Utilizar infraestructura propietaria.
• Agregar una interfaz para la consulta de registros.

Consideraciones

Se consideraron diversas tecnologías, y por supuesto, existen varias formas de abordar este problema. Algunas de las opciones incluyeron Syslog Remote y Forwarding, Vector y FluentBit. En este caso, el cliente expresó su deseo de utilizar NewRelic para la monitorización de infraestructura y aplicaciones, por lo que también tenía sentido usarlo como almacenamiento adicional a corto plazo. NewRelic cuenta con un excelente lenguaje de consultas y una interfaz fácil de usar, lo que evitaba la necesidad de configurar soluciones adicionales como Prometheus y Grafana.

El agente de NewRelic, utilizado para ingerir métricas y registros predeterminados de los servidores, está basado en FluentBit. FluentBit es muy flexible y puede configurarse para recopilar datos de múltiples fuentes, tanto locales como remotas. El hecho de que un servicio FluentBit independiente pueda ejecutarse en paralelo con el agente de NewRelic brinda aún más flexibilidad.

La Solución

FluentBit es una solución moderna y estable que ofrece mucha más flexibilidad que la mayoría de las alternativas. La necesidad de utilizar NewRelic, junto con la conveniencia de minimizar la fragmentación tecnológica, hizo que FluentBit fuera la elección obvia.

Cumple con todos los requisitos del desafío:

• Recibe datos de diversas fuentes. En este caso:
  • Syslog
  • Registros reenviados desde otras instancias de FluentBit
  • Registros de aplicaciones
  • Registros de contenedores Docker
  • Etc.
• Envia los datos a todos los destinos requeridos:
  • FluentBit Remote
  • NewRelic
  • Almacenamiento en red a largo plazo

Para resolver el almacenamiento a corto y largo plazo, se configuró un servicio FluentBit que aceptaba registros reenviados desde todas las aplicaciones y servidores. Luego, múltiples salidas escribían a distintos destinos para garantizar el almacenamiento.

Se implementó una rotación de registros en el almacenamiento a corto plazo para gestionar automáticamente el período de persistencia, mientras que el almacenamiento a largo plazo se mantiene de forma indefinida.

En paralelo con la gestión del almacenamiento propietario, los servicios de FluentBit envían registros y métricas a NewRelic a través del agente de NewRelic, proporcionando así el beneficio adicional de utilizar NewRelic como plataforma de consulta de datos y monitorización.

¡Podemos Ayudarte!

Este proyecto es un excelente ejemplo de las soluciones innovadoras y estables que podemos desarrollar. No buscamos soluciones rápidas; diseñamos soluciones eficientes, escalables y estables que abordan tanto las necesidades actuales como la flexibilidad futura.

Si enfrentas desafíos similares, contáctanos. Nos especializamos en desbloquear el potencial de tu infraestructura, asegurando que puedas avanzar con confianza hacia el futuro.