BrainChild

• Vi har lagt till en ny funktion i BrainChild där användarna behöver godkänna villkoren för att få tillgång till portalen. Godkännandet sparas i 30 dagar, och om villkoren ändras behöver användarna godkänna dem på nytt.
• Fortsatt jobb med att få till backendlogik för cohort hantering och kunna koppla det till designen som redan är implementerad.

NGP Auth

Uppdatering av NGP-Auth (SITHS) Identity Provider inkluderande gallringsjobb som rensar bort inaktiva användare med en bestämd tid för att förhindra att databasen fylls upp av inaktiva användare.

NGPc

Vi har genomfört systemunderhåll.

NGP-dagen

Vi förbereder oss inför NGP dagen den 18 november.

Infoportalen

Uppdaterat design och texter, lagt till en sida för Iris.

Förbättringar HCI

Vi har sett över resursförbrukning av HCI01 och gjort ett antal optimeringar där. Vi har ökat på minnes och cpu-mängden överlag samt gjort en första runda optimeringar för de workflows som körs. Vi har även läst på och skaffat oss en bättre förståelse rent generellt för hur resurserna i bakgrunden brukas när workflows kör vilket möjliggör vidare optimeringar.

NGP Infra

• Arbetae i virtuell labbmiljö för att utforska containerteknik, systemövervakning och automatisering av infrastruktur.
• Experimenterat med bland annat Terraform, Podman, Grafana, InfluxDB och Telegraf, med fokus på att bygga ett mer automatiserat och reproducerbart arbetssätt för infrastruktur.
• Nästa steg är att utforska Ansible och Wazuh för att automatisera installation, konfiguration och logginsamling.
• Det långsiktiga målet är att kunna skapa och återskapa färdigkonfigurerade virtuella servrar med ett fåtal kommandon, utan omfattande manuell konfigurering.

Azure – Infrastructure as Code

• Undersökt möjligheten att använda Terraform för att exportera och återskapa befintlig VM-infrastruktur i Azure.
• Identifierat en möjlig metod som återstår att testa i en separat testmiljö.
• På sikt kan detta bidra till mer konsekvent VM-provisionering, enklare återskapande av infrastruktur och minskat manuellt arbete.

Bonsai

Vi testar för närvarande den modifierade Bonsai-lösningen i en stagingmiljö med mockdata, där NGPi och NGPr används för datalagring och indexering.

Data från GMS-mikros pilotprojekt har också indexerats och nästa steg är att verifiera dessa i stagingmiljön. Detta involverade en fix i själva processerings-pipelinen i HCI:n som tidigare resulterade i att flera fält i json med liknande namn slogs ihop till ett enda värde vilket minst sagt skapade problem för typningsresultatet. Det löstes relativt enkelt med en smartare filtrering som enbart plockade ut standard MLST av alla fält med namn “sequence_type”.

En kvarstående utmaning är begränsningarna kring vilken information som får lagras permanent i Azure. Vi har därför arbetat med att anpassa loggningen på samtliga nivåer för att säkerställa att känsliga uppgifter, såsom LIMS-ID, inte förekommer i loggarna.

/Aisha

BrainChild

Vi jobbar på att få till en metodik för att kunna hantera skapande av användare till brainchild-portalen på ett smidigt sätt, med så lite manuell handpåläggning som möjligt. Vi behöver bland annat styra Authentication Methods som är möjliga för dessa användare.

NGPc

Mikrobiologi flaggskepp

Alla ~1500 MRSA prover har nu tagit sig igenom Jasen via orkestratorn. Vi märkte inte av några problem under tiden som proverna passerade igenom klustret.

Bonsai och dess modifikationer (också kallad “plåsterlösning” inom flaggskeppsprojektet) närmar sig färdigt och ska förhoppningsvis göras tillgänglig för en första skara användare inom kort. Exakt datum för detta ännu okänt. I korthet handlar lösningen om att dynamiskt hämta data utifrån ett HCI-index byggt på .json som Jasen producerar, så att man förhåller sig till kravet om att inte lagra data på disk längre än nödvändigt i molnmiljö.

GMC-flagg

Vi har tittat närmare på sätt att bättre hålla reda på under vilken flagg användare kör pipelines på klustret. Detta är nödvändigt för att kunna räkna ut total förbrukning resurser och således också kostnad. Det bör också kunna användas för att ev kontrollera rättigheter till datan inom grupper men detaljerna är i skrivande stund ej färdiga. För detta brukar vi grid engines så kallade “projekt”, men detta är bara en bit av kedjan där kostnaden behöver beräknas. Utöver ren VM-användning tillkommer också kostnad för nätverk samt lagring vilket också behöver sammanställas.

Ovan är också av relevans för de stunder där man t.ex. kör inom GMC-joint eller inom andra specifika projekt-grupper utöver de vanliga GMC-grupperna.

NGP-dagen

Vi har skissat färdigt på innehåll och agenda till NGP-dagen den 18e november. En inbjudan med agenda bör skickas ut relativt snart.

Förbättringar HCI

HCI:n är just nu i fokus av olika anledningar. Utöver att flertalet tjänster börjar närma sig “drift” och därför kommer börja använda HCI:n skarpt så görs förbättringar inom själva HCI:n i sig. Vi arbetar aktivt med att sätta upp användargrupper och tjänstkonton för att bättre kunna styra access till bakomliggande data för att kunna förhålla oss till de krav som ställs på oss och tjänster vad det gäller dataseparation. Samtidigt får vi hjälp av KSD att förbättra bakomliggande infrastruktur så pass att vi får bättre möjlighet att styra resursbruket av workflows och index vilket kommer behövas i takt med att fler och fler tjänster tas i bruk för att använda HCI:n skarpt.

Variantdatabasportalen

VDP:n närmar sig successivt driftsättning. Vi har migrerat över HCI-relaterade workflow och index från test-instansen till produktionsinstansen för vidare tester. Vi har identifierat problem i variantdatabasportalens HCI-workflow som tidigare har ställt till det med resursförbrukningen i bakgrunden just för variantdatabasportalen, vilket också har påverkat andra workflows. I och med denna förändring samt de tidigare nämnda HCI-optimeringarna bör allting flyta på mycket bättre.

/En trött Jens PW

Veckans uppdatering från NGP

Den här veckan har vi fortsatt arbetet med att utveckla och förbättra våra tjänster, portaler och vår infrastruktur.

Bland annat har Iris fått en ny version med förbättrad sökfunktionalitet, vi har stärkt säkerheten för administrativ åtkomst och NGP-klustret har hanterat en större mängd mikrobiologiprover. Samtidigt fortsätter förberedelserna inför NGP-dagen den 18 november.

Iris – ny version med förbättrad sökfunktionalitet

En ny version av Iris, 5.6.9, har släppts.
En av nyheterna i denna version är ny sökfunktionalitet kopplad till MQE (Matchmaking Exchange). Utöver detta har (bland annat): paket uppdaterats, test-suiten fixats och certifieringshantering har förbättrats.

VDP – fortsatt felsökning och finslipning

Även arbetet med VDP har fortsatt under veckan, med fokus på ytterligare felsökning, justeringar och finslipning av tjänsten.

Brainchild – frontendutvecklingen närmar sig färdigställande

Utvecklingen av Brainchild går framåt och de flesta delarna av frontendutvecklingen är nu färdiga. Det innebär att en stor del av arbetet med användargränssnittet har slutförts.

NGP Infrastruktur – säkrare administrativ åtkomst

Under veckan har vi satt upp en jumphost-VM för att stärka säkerheten kring administrativ åtkomst till vår infrastruktur.

Jumphosten ger vårt interna team en säkrare och mer kontrollerad väg för att administrera de virtuella maskiner som kör våra portaler och andra infrastrukturtjänster.

Lösningen lägger också en teknisk grund för att i framtiden kunna ge externa utvecklare begränsad åtkomst till specifika resurser. Den möjligheten är ännu inte implementerad, men infrastrukturen är nu förberedd för en sådan vidareutveckling.

NGP-klustret – nya VM-storlekar och ökad kapacitet

Nya VM-storlekar med mer minne per kärna

Som vi nämnde i förra veckans blogginlägg har vi utökat utbudet av virtuella maskiner i NGP-klustret (NGPc). Den här veckan vill vi ge lite mer information om vad det innebär.

De nya VM-storlekarna tillhör Esv5-serien, som erbjuder mer minne per kärna jämfört med de virtuella maskiner i D-serien som redan finns tillgängliga i klustret. Den största tillgängliga konfigurationen har för närvarande 32 trådar/slots och 256 GB minne. Det ger fler alternativ för arbetslaster som behöver större mängder minne i förhållande till antalet processorkärnor.

Mikrobiologins flaggskepp – större provvolymer i klustret

Under veckan har cirka 500 MRSA-prover bearbetats genom NGP-klustret, och ytterligare omkring 400 prover återstår att köra under nästa vecka.

Den större provvolymen gav oss samtidigt möjlighet att se hur Navops och resten av klustret hanterar en situation där många prover köas upp vid ett och samma tillfälle.

Resultatet var positivt!
Vi kunde inte se några större problem med att skala ut klustret horisontellt för att möta den ökade belastningen. Som mest hade vi
53 arbetsnoder igång samtidigt, med totalt cirka 340 processorkärnor. Det gav oss värdefulla erfarenheter av hur infrastrukturen beter sig vid större, samtidiga arbetslaster.

Förberedelser inför NGP-dagen den 18 november

Parallellt med det tekniska utvecklingsarbetet fortsätter vi att planera och förbereda olika delar inför NGP-dagen den 18 november.

Arbetet med de olika komponenterna inför dagen pågår, och vi ser fram emot evenemanget!

BDC-dagen

Trots allt hann vi också ta en dag för umgänge och teambuilding!
Det är trots allt Halloween 🎃

Hela BDC – Bioinformatiker, IT, statistiker och alla andra som inte nämns (förlåt!) samlades en hel dag för att presentera vad som pågår i de olika grenarna av BDC.

Vi delade med oss av vad vi jobbar på, vad vi vill förbättra och vad som komma skall. Det var en dag där olika grenar inom en organisation som alla jobbar mot samma mål fick insyn i varandras arbete, utmaningar och prestationer, och bidrog till en ökad förståelsen för hur vi alla bidrar och drar vårt strå till stacken.

Nya kollegor (mig inkluderat) fick också en chans att säga hej och presentera sig själva.

Och det hela avslutades med en utflykt till Liseberg, där vi kunde äta tillsammans och medverka i lite friendly competition (som togs mer eller mindre seriöst 😉). Halloween-andan i parken var på topp, och Liseberg var proppfylld med firande människor! Trots folkmassorna, eller kanske delvis tack vare dem, präglades dagen av en härlig höststämning och en mysig men sprudlande atmosfär!

Hoppas att din Halloween också bjöd på en riktigt härlig höststämning, massor av skoj och kanske en och annan spooky upplevelse…

Från oss på BDC – Happy Halloween!