BrainChild

  • Dev-blogg vecka 24

    Dev-blogg vecka 24

    BrainChild

    Design av BrainChild-portalen har påbörjats.

    NGP

    Integrationer: Bonsai & Mimosa

    Vi har haft en initial dialog med GMC Örebro om huruvida Mimosas API bör utökas med stöd för att ladda upp prover och initiera klustringsjobb. Behovet behöver först beläggas och kravställas innan sådant stöd läggs till i API:et.

    Som en snabb, och möjligtvis tillfällig, lösning utvecklar GMC Väst ett tilläggs”-PI som återanvänder så mycket som möjligt av Mimosas automationsskript.

    Systemunderhåll

    Vi utförde uppdateringar och omstarter av tjänster och portaler i veckan.

    Detta var det första rutinlagda systemunderhållsfönstret, som infaller den andra onsdagen varje månad (med undantag för semesterveckor).

    NGPc

    Netapp-arbetslagring

    Skalningslogik har implementerats för Azure Netapp Files som agerar arbetslagringen för pipelines. Logiken tittar på både storleksanvändning och nuvarande belastning för att göra en bedömning om den ska skala upp eller ner.

    Tidigare har ett så kallat “flexibelt” tier använts, men denna går inte att skala upp och ner fritt. Denna har haft en statisk storlek och “throughput” på 4 TiB och 512 MiB/s. Istället har vi bytt till “Ultra” där storlek och throughput skalar med varandra, 1 TiB och 128 MiB/s i taget.

    Koden körs på cron-schema och kommer till en början skala upp 1 TiB i taget. Om man märker att det går för långsamt (primärt throughput-mässigt) så kan man skala upp eller ner mer än så, så att fler processer ska kunna köra och köras snabbare.

    I och med denna skalning kan man spara pengar under perioder av låg aktivitet, samtidigt som man gör det möjligt att köra fler pipelines samtidigt och snabbare överlag.

    Annan lagring

    I och med ovan förändring har andra lagringar plockats bort eller förändrats.

    • /ngp/netapp som tidigare använts som test är bortplockad
    • /ngp/scratch som tidigare varit en blob-lagring har nu ersatts av ovan skalande netapp-lösning.

    Variantdatabasportalen (VDP)

    • Vi undersöker just nu hur vi kan integrera interaktiva grafer i portalen.
    • Fler förbättringar av användarupplevelsen (UX) är under utveckling.
    • Utvecklingen av stöd för import av Excel-filer med Alamut-format fortgår.
    • Vi har börjat titta på hur man kan skapa en gemensam mall för användning i databasen.

    / Johan C

  • Dev-blogg vecka 23

    Dev-blogg vecka 23

    Bonsai & Mimosa

    Bonsai-integrationen har verifierats på NGP-klustret inom ramen för JaseBonsaiMimosa-pipelinen och har visat god funktionalitet.

    Mimosa API är tillgängligt från NGP-klustret, men saknar för närvarande stöd för uppladdning av prover samt initiering av klustringsjobb via API. Vi utreder möjliga lösningar för att hantera denna begränsning.

    Brainchild

    Vi har satt upp nätverkskoppling mellan Brainchilds Fabric-miljö och on-prem HCP-lagring hos VGR där data är tänkt att flöda in. Utvecklare i Fabric ska i första hand nå mock-data från Barntumörbanken/Svenska Barncancerregistret.

    NGPc

    Vi har hittat ett sätt att skala netapp-lagringen mer dynamiskt för att kunna hantera större belastningar både vad det gäller storlek men också throughput. Grundlogiken är färdig men kräver mer arbete för att kunna tas i drift.

    Systemunderhåll

    Vi har diskuterat att införa regelbundna systemunderhåll en gång per månad, med start onsdagen den 10 juni och därefter den andra onsdagen varje månad.

    Under dessa underhållsfönster kommer vi att genomföra systemuppdateringar, omstarter av servrar .etc.

    Underhållsfönstret är planerat till kl. 09:00–17:00 och kan medföra begränsad tillgänglighet eller avbrott för NGPc (https://ood.genmed.se) under denna period. Användare ombeds att inte använda NGPc medan underhållet pågår.

    /Aron C

  • Dev-blogg vecka 21

    Dev-blogg vecka 21

    Jasen + Bonsai + Mimosa

    Arbetet med att adaptera den befintliga lösningen utifrån de förtydligade ska-kraven har påbörjats. Som en del av detta arbete har en ny delad lagringsyta, “hot storage”, för Jasen-resultat skapats. Denna ska användas av den Jasen-Bonsai-Mimosa-pipeline (JBM) som håller på att utvecklas, samt av Bonsai vid klustringskörningar.

    NGPc

    Patching av dirty frag samt fragnesia sårbarheterna har påbörjats, och vi siktar på att patcha det som återstår nästa vecka.

    Variantdatabasportalen

    Vi har haft möte med en referensgrupp som bildats inom GMS RD-grupp

    Vi håller på att bearbeta den feedback vi har fått.


    /Aisha Alsafi

  • Dev-blogg vecka 20

    Dev-blogg vecka 20

    Brainchild

    Nya användargrupper har skapats och användare från Microsoft och Nexer har bjudits in för att arbeta på BrainChild inom fabricmiljö. En ny kapacitet har skapats och rättigheter konfigurerats för denna.

    Under skapandet/inbjudan av användare har vi stött på inloggningsproblem för nya användare där de slår i en conditional access policy. Denna policy ska hindra inloggning utan MFA men användaren får det aldrig presenterat för sig att konfigurera sin MFA innan inloggnings fallerar. Explicit exklusion av användare för policy gör det möjligt att logga in. Felsökande pågår.

    Jasen + Bonsai + Mimosa

    Vidare diskussioner har klargjort vilka de konkreta stegen är härnäst. Dessa skiljer sig delvis från originaltanken och således behöver vissa delar av uppsättning av infrastruktur förändras.

    Det kvarstår några få frågetecken som vi hoppas reds ut under nästa vecka. Under tiden implementerar vi de delar vi har god känsla för, t.ex. hur kommunikation och dataskyfflande mellan Jasen och Bonsai ska se ut i ett första skede.

    Administration GMC-joint

    Nya rutiner för GMC-joint arbetas fram som rör administration rent generellt. BDC-IT/GMC-west kommer hantera administrationen av denna tenant och dess användare. Exakt utformning är inte färdigställd men i takt med att denna blir klar kommer tekniska administratorer från varje GMC kontaktas för att ta del av dessa nya rutiner.

    Rutinunderhåll NGP

    Vi har tagit fram en grundläggande princip gällande underhåll av infrastruktur. Vi siktar på att ta ner delar av infrastrukturen den 2:a onsdagen i varje månad för att uppdatera underliggande OS och införa diverse förändringar som annars hade stört verksamheten.

    NGPc

    Förra veckan nämndes patchning av “copy fail” och sedan dess har nya liknande kritiska fel identifierats i linux kernel (dirty frag). Vi har inväntat nya kernelversioner för att patcha detta fel och siktar på att lösa detta nästa vecka.

    Ha det fint,
    Jens PW

  • Dev-blogg vecka 17

    Dev-blogg vecka 17

    Autentisering

    Konfiguration av ny Open OnDemand instans med inloggning via Keycloak har börjat sättas upp i NGP.

    Azure NetApp files

    Utreder hur man effektivast skalar Netapp-lagringen utifrån nuvarande workload. Tekniska begränsningar i hur man viktar total storlek mot total throughput gör det svårt att hitta rätt utifrån ett kostnadsperspektiv. I samband med detta görs ett försök att sätta upp rutiner för att identifiera vart flaskhalsar ligger för diverse pipelines inom en bredare kontext.

    Bonsai + Mimosa

    Arbetar med automation för att kunna hämta JASEN-output från HCP för att köra i bonsai.

    Inväntar ett testdataset från GMC Örebro för att kunna testa med verklighetstrogen data.

    BrainChild

    Arbetet med indexing av Barntumörbanken data fortgår.

    /Aron C

  • Dev-blogg vecka 12

    Dev-blogg vecka 12

    Open OnDemand (OOD)

    Planering för en andra OOD instans med BankID-autentisering har inletts.

    Bonsai & Mimosa

    Arbetet med integrationerna för Bonsai- och Mimosa-integrationerna i NGPn under Open OnDemand-portalen (OOD) fortgår.

    Kodjusteringar i både Bonsai och Mimosa har krävts för att integrationen bakom OOD:s proxy ska fungera. Dessa justeringar, tillsammans med ett antal andra förslag, har samlats för att dela med utvecklarna.

    Under veckan har teamet även testat att importera mockdata till Bonsai respektive Mimosa. Förberedelser för att testa med riktigt data från JASEN har gjorts, och testning med denna data kommer att påbörjas nästa vecka.

    Variantdatabasportalen (VDP)

    Portalens utveckling går framåt.

    Teamet har under veckan jobbat på att implementera feedback från kliniker samt att åtgärda buggar som upptäcktes under veckan.

    Informationsportalen

    Arbete med sökmotoroptimering (SEO) har inletts.

    UI- och UX-feedback har samlats in och till viss del implementerats

    Kontakta oss-sidan har även förbättrats.

    /Johan C

  • Dev-blogg vecka 10

    Dev-blogg vecka 10

    Allmänt

    • Klustret är i stora drag redo för den stora mikrobiella studie som startar i mars. 

    NGP Cluster

    • Lustre-filsystem nu tillgänglig som arbetsyta för arbetsnoderna på NGPc. Denna kan vid behov skalas upp manuellt både storleksmässigt och prestandamässigt i takt med att användningen av klustret ökar.

    Brainchild

    • Ny fabric-miljö för BrainChild uppsatt. Diskussioner kring datatransformationer i de olika lagren av lösningen fortsätter.

    Variant database portal

    • Fortsatt arbete med att förbättra funktionalitet gällande klassificering av varianter baserat på feedback från GMC-West.

    Bonsai & Mimosa

    • Integrationer av Bonsai & Mimosa har påbörjats.
    • Bonsai & Mimosa kommer att leva under Open Ondemand, bakom SITHS autentisering & auktorisering.
    • Kommande diskussioner med Bonsai-utvecklare och Mimosa-utvecklare, med start den 6 mars 2026, kommer att genomföras för att ta fram en plan för hur Bonsai och Mimosa kan införas under NGP.

    /Vilma C

  • Dev-blogg vecka 9

    Dev-blogg vecka 9

    Lansering av Informationsportalen

    Välkomna till Nationella genomikplattormens dev-blogg!

    I denna dev-blogg kommer vi att publicera information om vad som har arbetats aktivt med under veckans gång. Detta för att öka insikten i hur vårt arbete fortskrider.

    I och med detta blogginlägg publiceras Informationsportalen i sin helhet.

    Variantdatabasportalen, VDP

    Variantdatabasportalen (VDP) har visats upp för GMS-representanter i syfte att samla in feedback om förbättringar. Förhandsvisning kommer hållas med GMS Rare Disease-grupp inom snar framtid för vidare insamling av feedback.

    Funktionalitet för tolkade varianter i stor utsträckning färdig, med otolkade varianter som nästa stora steg.

    Utveckling av produktionsinstansen fortlöper parallellt.

    NGP Iris

    Ny version 5.6.2 lanserad som bland annat inkluderar grundläggande bucket-hantering från CLI samt ett tjusigare gränssnitt. Viss funktionalitet kring “delete” av objekt observeras inte fungera korrekt. En ny release som löser denna problematik är på ingång med är vid tillfället för detta inlägg inte ännu färdigt.

    Bugg-rapporter och förbättringsförslag tas tacksamt emot på NGPIris github-sida:
    https://github.com/genomic-medicine-sweden/NGPIris/issues

    Open OnDemand

    Arbete påbörjat där vi kikar på hur bonsai kan tänkas publiceras under Open OnDemands tak. Open OnDemand kan tänkas agera reverse proxy och hantera authentication med befintlig SITHS-inloggning. Access till bonsai, likt för många andra tjänster inom NGP, kommer kräva ett aktivt vårdmedarbetaruppdrag (VMU).

    Vidare diskussioner kommer föras med utvecklarna för Bonsai samt Mimosa.

    NGP Cluster

    Arbetet med att få klustret redo inför den mikrobiella studien som går igång i mars kan nu fortsätta efter att problemen kring Navops har lösts, där Navops låste sig och vägrade hämta prisinformation om Azures virtuella maskiner.

    En ny VM-serie till beräkningsklustret är på ingång som erbjuder större diskar för att möjliggöra nextflows och snakemakes “scratch”-direktiv för även de största proverna. Serien kallas Las_v4 och mer info hittas här:
    https://learn.microsoft.com/en-us/azure/virtual-machines/sizes/storage-optimized/lasv4-series

    Skarpa tester av Jasen fortsätter parallellt.

    Brainchild

    Initial dataöverföring från Barntumörbanken till NGPr påbörjad. Överföringshastigheten vid första test godkänd.

    Designmöten kring den nya lösningen där NGP integreras till stor del har hållits den senaste tiden. När representativ data når oss kan vi börja skissa på datatransformationer och indexering för att möjliggöra för frontend-lösningen att smidigt hämta relevant data.

    /Jens PW