Bokbasen får tilgang til neste generasjons overvåkingsfunksjoner med AWS

For at hele løsningen skulle kunne administreres og overvåkes effektivt, og for at både Bokbasens og Orange Business Services teknikere skulle være i stand til å administrere applikasjoner, mellomvare og AWS-tjenester, var det nødvendig å ta i bruk nye verktøy, og kom fram til at Datadog var best egnet.


Bokbasen leverer et bredt spekter av tjenester til alle deler av Litteratur-Norge. Selskapet utvikler og vedlikeholder Den norske Bokdatabasen, som er den mest oppdaterte katalogen over alle bokutgivelser i Norge.  Med dette sentrale registeret kan bransjen enkelt benytte seg av dataene – i nettbutikker, bokhandler, biblioteker og skoler – i stedet for å måtte bruke tid på å innhente dem, slik man må i mange andre land.  Da e-bøker inntok markedet, var Bokbasen tidlig ute med å bygge opp den nødvendige infrastrukturen, blant annet en strømmetjeneste for lydbøker. AWS-partner Orange Business Services har siden 2012 driftet og administrert denne virksomheten for Bokbasen i en privat skyløsning.

I 2017 begynte Bokbasen å bruke AWS til å lagre og omkode lydfiler. I 2018 migrerte Bokbasen sitt offentlige nettsted til AWS.

I 2019 startet Bokbasen opp et nytt prosjekt: digitalisering av bøker og læremidler. De begynte med Digitalelev, et produkt for administrasjon og innkjøp av digitale læremidler i skolen, og Allvit, en plattform for distribusjon av lærebøker og ressurser for høyere utdanning.

Utfordringen med overvåking

Bokbasen er en liten organisasjon som hovedsakelig fokuserer på å utvikle tjenester. Bokbasen valgte å utvikle de nye tjenestene sine ved hjelp av containere og serverless teknologi. All infrastrukturen som kreves for å støtte Bokbasens tjenester, er definert ved hjelp av Infrastructure as Code.

Siden etterspørselen etter tjenestene varierer avhengig av tid på døgnet, var det et viktig designkrav at løsningen måtte baseres på tjenester med bruksbasert betaling – pay-as-you-go-modell. Dermed kan ressursforbruket raskt skaleres opp for å møte etterspørselen og skaleres tilbake i perioder med lite bruk.

Det ble raskt klart at overvåkingsløsningene Bokbasen tidligere hadde brukt til å håndtere arbeidsbelastningen, ikke ville oppfylle kravene den nye arkitekturen stiller. For at hele løsningen skulle kunne administreres og overvåkes effektivt, og for at både Bokbasens og Orange Business Services teknikere skulle være i stand til å administrere applikasjoner, mellomvare og AWS-tjenester, var det nødvendig å ta i bruk nye verktøy.

Løsningen på overvåking ble AWS

Orange Business Services og Bokbasen vurderte flere verktøy som kunne brukes til å overvåke de nødvendige tjenestene i AWS, og kom frem til at Datadog var best egnet.

Datadog har innebygd integrasjon med mange AWS-tjenester. Det gjør det enkelt å konfigurere overvåking og få tilgang til matriser fra et bredt spekter av tjenester fra både AWS og tredjeparter. Denne tjenesten leveres som en administrert tjeneste fra Orange Business Services og er integrert med rapporterings- og varslingsmekanismer.

Bokbasen valgte å bruke Application Performance Management (APM) for å få bedre innsikt i ytelsen til applikasjonstjenestene.

I samarbeid med Orange Business Services designet og implementerte Bokbasen overvåkingsfunksjoner rettet mot følgende aspekter:

  • overvåking av service intelligence
  • bruk av algoritmer for statistisk analyse for å identifisere ekstreme verdier og avvik
  • bruk av maskinlæring til heterogen overvåking ved å identifisere trender i data for å utløse handlinger før avvik eller terskelbrudd oppdages

Datadog støtter flere ulike varslingsmekanismer. For Bokbasen ble vi enige om at alle varsler skal sendes til en felles Slack-kanal, og at varsler som gjelder Orange Business Services administrerte tjenester, skal sendes til Orange Business Services ITSM-løsning.


AWS OG DATADOG har Funksjoner for overvåking av service intelligence

Datadog er et av markedets ledende verktøy for overvåking, og takket være verktøyets ulike integrasjoner er det enkelt å aktivere overvåking for et bredt spekter av workloads. AWS Fargate administrerer skaleringen av den underliggende infrastrukturen som trengs for å støtte container workloads på en svært tilgjengelig måte. Flere tusen containere kan i løpet av sekunder startes på forespørsel. Ved hjelp av Datadog-modulene for Fargate-, ECS- og Lambda-funksjoner kan Orange Business Services sørge for overvåking av plattformtjenester og infrastruktur samt beregningsressursene som støtter Bokbasens tjenester.

Hver container workload merkes som en del av definisjonen med sine clustere og grupper. Basert på denne merkingen legges nye containere og funksjoner automatisk til i riktige overvåkingsgrupper, og konfigurasjonene tas automatisk i bruk når det gjøres endringer i miljøet. Bokbasen bruker APM på containerne sine. Dette muliggjør fullstendig sporbarhet av ytelse og dataflyt mellom distribuerte mikrotjenester.

Identifisering av avvik basert på statistiske metoder

Bokbasen har for øyeblikket nesten ingen mulighet til å forutsi hvordan de nye applikasjonene vil bli brukt. Datadog støtter oppretting av matriser fra en rekke ulike kilder, enten med Agent-programvaren eller direkte fra AWS, for å identifisere avvik og ekstreme verdier.

Bokbasen og Orange Business Services samarbeider om flere brukstilfeller for å identifisere relevante mønstre som kan hjelpe oss med å identifisere disse ekstreme verdiene og avvikene. Et eksempel er å se på responstid i applikasjonen digitalelev-gui.

Datadog støtter mange ulike variabler for å identifisere avvik, med algoritmer som kan justeres slik at de dekker behovene i løsningene, for eksempel:

  • Basic: Matrisene har ikke noe gjentakende sesongbasert (seasonal) mønster.
  • Agile: Hvis sesongbaserte (seasonal) matriser forventes å endre seg, må algoritmen justere seg raskt for å tilpasse seg til endringene.
  • Robust: Hvis sesongbaserte (seasonal) matriser forventes å være stabile, regnes langsomme endringer i nivåene som avvik.

Mer informasjon om avanserte alternativer for denne typen overvåking finner du i Datadogs Anomaly Monitor-dokumentasjon.

Bruke maskinlæring til å identifisere trender i data og oppdage mulige problemer

Siden Bokbasen hele tiden utvikler nye tjenester, er det vanskelig å forutsi den fremtidige skaleringen av applikasjonen/tjenestene. Det er derfor viktig å analysere trender.

Datadog har statistikkverktøy som kan opprette prognoser basert på innhentede matriser.

Prognoser er spesielt godt egnet for matriser som har tydelige trender eller gjentakende mønstre.

Vi har utviklet et brukstilfelle som omfatter ytelsesprognoser for Bokbasens RDS-databasetjenester, og dette kan enkelt tilpasses til andre matriser.

En annen funksjon Datadog tilbyr, er Watchdog. Watchdog er en algoritmefunksjon for APM som automatisk identifiserer potensielle problemer i applikasjon og infrastruktur. Disse funksjonene omfatter alle Datadogs etablerte maskinlæringsfunksjoner, for eksempel identifisering av avvik og ekstreme verdier samt prognoser. Alle funn tilordnes en “story”, og basert på disse er det enkelt å skape mer overvåking. Denne funksjonen gjør Bokbasen og Orange Business Services i stand til å identifisere problemer automatisk og håndtere dem etter behov.

I tillegg har Orange Business Services aktivert GuardDuty på Bokbasens produksjonskonto. GuardDuty bruker maskinlæring basert på et sett med AWS-loggkilder. Orange Business Services har implementert dette ved å bruke Security Hub for å gi kunden innsyn, med integrasjoner til Orange Business Services ITSM-system. Hvis en ny GuardDuty-alarm registreres, vil det automatisk opprettes en sak som håndteres av Orange Business Services døgnåpne driftssenter.

Fordeler med AWS – overvåking

Bokbasen kan nå dra nytte av neste generasjons overvåking ved bruk av native AWS-tjenester og Datadog. Med sin driftsleverandør, Orange Business Services, og deres døgnåpne driftssenter har de nå løsninger for følgende:

  • Overvåking av service intelligence via AWS ECS, Fargate og Lambda med overvåkingstjenester fra Datadog. Dette gir tilgang til gjeldende og historiske data for alle kilder det innhentes data fra, inkludert APM.
  • Identifisering av avvik: Datadog innhenter matriser som analyseres ved hjelp av statistiske metoder, noe som gir bedre innsikt enn grunnleggende overvåking av terskelverdier.
  • Bruk av maskinlæring til å identifisere trender i data og oppdage mulige problemer: Watchdog kan identifisere potensielle ytelsesproblemer før de oppstår, og GuardDuty kan oppdage potensielt skadelige trusler.

De ovennevnte overvåkingsfunksjonene kan sørge for at det registreres hendelser i Orange Business Services ITSM-system, slik at problemer som oppstår, kan håndteres av det døgnåpne driftssenteret.