Selvom cloud-løsninger bestemt kan tilbyde nem brug og en let integreret løsning, opstår der ofte uventede eller uforudsete problemer, som GDPR og CCPA-kompatibilitet eller forhøjede omkostninger.

Der er også andre problemer, som ofte ikke overvejes på forhånd, som ikke at have fuld adgang eller kontrol over de lagrede data eller simpelthen behovet for at behandle dataene på en anden måde.

Udfordringen: Indsamling af logs fra forskellige kilder og gøre dem let tilgængelige

Projektkriterierne var følgende:

• Indsaml logs fra fysiske servere, applikationer, der kører i native miljøer og i docker-containere.
• Opbevar logs i en centraliseret placering, hvor de hurtigt kan behandles.
• Opbevar logs i en langtidslager for at overholde lovgivningskrav.
• Brug proprietær infrastruktur.
• Tilføj et interface til forespørgsel af logs.

Overvejelser

Der blev overvejet forskellige teknologier, og der er naturligvis flere måder at løse dette på. Syslog Remote og Forwarding, Vector, FluentBit for at nævne nogle få. I dette tilfælde blev det udtrykt, at klienten ønskede at bruge NewRelic til infrastruktur- og applikationsmonitorering, og derfor gav det også mening at bruge det som et ekstra korttidslager. NewRelic har et meget godt forespørgselssprog og et nemt at bruge interface, og det ville undgå behovet for at opsætte noget andet, som Prometheus og Grafana.

NewRelic-agenten, der bruges til at indsamle metrics og standard-logging fra servere, er baseret på FluentBit. FluentBit er meget fleksibel og kan konfigureres til at indsamle data fra mange forskellige kilder, både lokalt og via fjernadgange. Det faktum, at en selvstændig FluentBit-tjeneste kan køre parallelt med NewRelic-agenten, giver endnu mere fleksibilitet.

Løsningen

FluentBit er en moderne og stabil løsning, der er langt mere fleksibel end de fleste alternativer. Dette sammen med ønsket om at bruge NewRelic og at det er bestemt fordelagtigt at holde teknologifragmentsionen så begrænset som muligt, gjorde FluentBit til det oplagte valg.

Det opfylder alle kriterier for denne udfordring:

• Tager input fra forskellige kilder. Krævet i dette tilfælde:
  • Syslog
  • Fremadførte logs fra andre FluentBit-instanser
  • Applikationslogs
  • Docker-container logs
  • M.m.
• Udputs til alle nødvendige destinationer:
  • FluentBit Remote
  • NewRelic
  • Langtidslager på netværk

For at løse den korte og lange proprietære lagring blev en FluentBit-tjeneste opsat, der accepterede fremadførte logs fra alle applikationer og servere. Derefter ville flere outputs skrive til forskellige destinationer og sikre lagring.

Logrotation blev anvendt på korttidslageret for automatisk at håndtere opbevaringsperioden, mens langtidslageret blev opbevaret ubegrænset.

Parallelt med denne proprietære lagringshåndtering sendte FluentBit-tjenesterne logs og metrics til NewRelic via NewRelic-agenten og dermed gav den ekstra Nice-to-have objektiv at bruge NewRelic som en platform til dataforespørgsel og overvågning.

Vi kan hjælpe!

Dette projekt er et godt eksempel på stabile løsninger, vi kan skabe. Vi leder ikke bare efter hurtige løsninger; vi designer stabile, effektive og skalerbare løsninger, der adresserer både aktuelle behov og fremtidig fleksibilitet.

Hvis du står over for lignende udfordringer, så kontakt os. Vi specialiserer os i at låse op for din infrastrukturs potentiale og sikre, at du kan følge med fremtiden.