Molnlösningar kan definitivt vara enkla att använda och erbjuda en lättintegrerad lösning, men de kan också leda till oväntade problem, såsom efterlevnad av GDPR och CCPA eller ökade kostnader.

Det finns även andra utmaningar som ofta inte beaktas i förväg, såsom bristande kontroll över lagrade data eller behovet av att bearbeta data på ett specifikt sätt.

Utmaningen: Att samla in loggar från olika källor och göra dem lättåtkomliga

Projektets kriterier var följande:

• Samla in loggar från fysiska servrar, applikationer som körs i egna miljöer samt i Docker-containrar.
• Lagra loggarna på en central plats där de enkelt kan bearbetas under en kortare period.
• Spara loggarna i en långtidslagring för att uppfylla regulatoriska krav.
• Använda befintlig, proprietär infrastruktur.
• Tillhandahålla ett gränssnitt för loggsökningar.

Överväganden

Flera teknologier utvärderades, och det finns såklart flera sätt att lösa detta. Några av alternativen var Syslog Remote & Forwarding, Vector och FluentBit.

I det här fallet uttryckte kunden en önskan att använda NewRelic för infrastruktur- och applikationsövervakning. Därför var det logiskt att även använda NewRelic som en ytterligare korttidslagring. NewRelic har ett mycket bra frågespråk och ett lättanvänt gränssnitt, vilket gjorde att vi kunde undvika behovet av att sätta upp alternativa lösningar som Prometheus och Grafana.

NewRelic-agenten, som används för att ta emot metrik och standardloggar från servrar, är baserad på FluentBit. FluentBit är mycket flexibelt och kan konfigureras för att samla in data från flera olika källor, både lokalt och via fjärranslutningar. Det faktum att en fristående FluentBit-tjänst kan köras parallellt med NewRelic-agenten ger ännu större flexibilitet.

Lösningen

FluentBit är en modern och stabil lösning som är betydligt mer flexibel än de flesta alternativ. Tillsammans med önskemålet att använda NewRelic och behovet av att begränsa teknologifragmenteringen, blev FluentBit det självklara valet.

FluentBit uppfyllde alla krav i detta projekt:

• Tar emot loggar från flera källor, inklusive:
  • Syslog
  • Vidarebefordrade loggar från andra FluentBit-instanser
  • Applikationsloggar
  • Docker-containerloggar
  • m.m.
• Skickar loggar till alla nödvändiga destinationer:
  • FluentBit Remote
  • NewRelic
  • Långtidslagring i nätverket

För att hantera både kort- och långtidslagring sattes en FluentBit-tjänst upp för att ta emot vidarebefordrade loggar från alla applikationer och servrar. Därefter konfigurerades flera utgångar för att skicka loggar till olika lagringsplatser.

Loggrotering implementerades för korttidslagringen så att loggar automatiskt hanteras och lagras under en begränsad period, medan långtidslagringen behålls på obestämd tid enligt regulatoriska krav.

Parallellt med denna hantering skickar FluentBit-tjänsterna loggar och metrik till NewRelic via NewRelic-agenten, vilket ger den extra fördelen att kunna använda NewRelic som en plattform för datafrågor och övervakning.

Vi kan hjälpa dig!

Detta projekt är ett bra exempel på stabila, färdiga lösningar som vi kan skapa. Vi letar inte bara efter snabba lösningar – vi utvecklar stabila, effektiva och skalbara lösningar som möter både dagens behov och morgondagens krav.

Om du står inför liknande utmaningar, hör av dig till oss. Vi är specialister på att låsa upp potentialen i din infrastruktur och ser till att du kan hålla jämna steg med framtiden.