NGP Variantdatabas

  • Dev-blogg vecka 16

    Dev-blogg vecka 16

    Autentisering

    Inloggningsflödet är testat med LDAP-integration till IdM för matchning av inkommande claim som i sin tur skickas vidare till OpenOnDemand, för att auktorisering fortsatt ska kunna hanteras manuellt och OpenOnDemand inte ska behöva ställa ldap-frågor till IdM för att kunna matcha användare.

    Bonsai + Mimosa

    Arbetet med att integrera Bonsai och Mimosa i NGPn fortsätter.

    Vi har haft dialog med projektägarna för GMS-projektet “Prospektiv regional sekvensering av resistenta bakterier med samordnad nationell dataanalys” för att tydliggöra vilka versioner av Bonsai och Mimosa som ska stödjas i NGP. I samband med detta har vi också lyft att den senaste releasen av Bonsai ännu inte fullt ut stödjer data från de senaste versionerna av Jasen och bonsai-prp.

    Vi inväntar besked om detta, samtidigt som Bonsai-utvecklarna undersöker om stöd för bonsai-prp 1.5 kan backportas till Bonsai 2.1.x. Förhoppningen är också att GMC Örebro under nästa vecka laddar upp ett testdataset och referensisolat till GMC Joint-tenanten, så att vi kan testa med mer verklighetstrogen data.

    Mimosa har uppdaterats av externa utvecklare för publicering bakom reverse proxy och under en subpath, baserat på den feedback vi tidigare delat med dem. Vi inväntar nu en stabil release innan Mimosa-instansen i NGP uppdateras.

    NGP Cluster

    Vi har genomfört testkörningar av pipelines.

    Variantdatabasportalen(VDP)

    Vi har hållit ett möte och en grupp ska bildas för att beta testa portalen. Vidare utveckling av portalen fortsätter.

    /Hedy Pettersson

  • Dev-blogg vecka 13

    Dev-blogg vecka 13

    Ny lagringslösning med Azure NetApp Files

    Vi har etablerat och driftsatt en ny lagringslösning baserad på Azure NetApp Files för NGPc-klustret. Detta ersätter den tidigare Lustre-baserade lagringen.

    Framsteg i Bonsai- och Mimosa-integrationerna

    Arbetet med Bonsai och Mimosa har fortsatt med fokus på både praktisk testning och strategiska vägval:

    • Mockdata har laddats upp och klustringar har genomförts framgångsrikt i både Bonsai och Mimosa.
    • Vi har haft en första intern diskussion kring nästa steg i integrationerna, där vi bland annat tittar på:
      • Hantering av större datamängder
      • Stöd för många samtidiga användare
      • Prioritering av uppladdningar och klustringar
      • Data persistence
      • Eventuell utbyte av MongoDB-databaserna
    • Insamlad feedback har skickats vidare till Bonsai- och Mimosa-teamen, och vi har påbörjat nästa runda av frågor och synpunkter.
    • Arbetet med att ladda upp JASEN-data till NGPr (HCP) har inletts, och vi har även börjat testa med verklig data.
    • Nästa steg är att boka ett gemensamt möte för att konkretisera vad som krävs för att få en MVP på plats inför studien. Fokus kommer ligga på:
      • När och var data ska laddas upp
      • Exakt vilken data Bonsai och Mimosa behöver från JASENs output

    Vidareutveckling av Variantdatabasportalen

    Utvecklingen av variantdatabasportalen (VDP) fortsätter inför GMS RD-gruppens månadsmöte i början av april. Arbetet har främst fokuserat på:

    • Förbättringar av befintlig funktionalitet
    • Buggfixar och stabilisering

    NGP IRIS – kommande release

    En ny version av NGP IRIS (v5.6.7) är under utveckling. Den kommer bland annat att introducera stöd för rekursiv uppladdning av mappar, vilket innebär att mappar som innehåller undermappar kan hanteras direkt vid uppladdning.

    // Erik B

  • Dev-blogg vecka 12

    Dev-blogg vecka 12

    Open OnDemand (OOD)

    Planering för en andra OOD instans med BankID-autentisering har inletts.

    Bonsai & Mimosa

    Arbetet med integrationerna för Bonsai- och Mimosa-integrationerna i NGPn under Open OnDemand-portalen (OOD) fortgår.

    Kodjusteringar i både Bonsai och Mimosa har krävts för att integrationen bakom OOD:s proxy ska fungera. Dessa justeringar, tillsammans med ett antal andra förslag, har samlats för att dela med utvecklarna.

    Under veckan har teamet även testat att importera mockdata till Bonsai respektive Mimosa. Förberedelser för att testa med riktigt data från JASEN har gjorts, och testning med denna data kommer att påbörjas nästa vecka.

    Variantdatabasportalen (VDP)

    Portalens utveckling går framåt.

    Teamet har under veckan jobbat på att implementera feedback från kliniker samt att åtgärda buggar som upptäcktes under veckan.

    Informationsportalen

    Arbete med sökmotoroptimering (SEO) har inletts.

    UI- och UX-feedback har samlats in och till viss del implementerats

    Kontakta oss-sidan har även förbättrats.

    /Johan C

  • Dev-blogg vecka 11

    Dev-blogg vecka 11

    Variant database portal

    • Vi arbetar fortsatt med funktionalitet för att förbättra klassificeringen och har tittat mer ingående på vilken data vi kommer hantera initialt.

    Bonsai & Mimosa

    • Mötet med Bonsai och Mimosas utvecklarna var givande och vi har bättre förståelse för vad som krävs för att sätta upp de olika projekten.
    • Arbetet med de båda projekten kommer fortsätta, med fokus på Mimosa, och att få tjänsterna att kommunicera bakom Open OnDemand.
      • Resurser i Azure har skapats och konfigurerats för Mimosa, och dess integration i Open OnDemand har påbörjats.

    /Aron C

  • Dev-blogg vecka 10

    Dev-blogg vecka 10

    Allmänt

    • Klustret är i stora drag redo för den stora mikrobiella studie som startar i mars. 

    NGP Cluster

    • Lustre-filsystem nu tillgänglig som arbetsyta för arbetsnoderna på NGPc. Denna kan vid behov skalas upp manuellt både storleksmässigt och prestandamässigt i takt med att användningen av klustret ökar.

    Brainchild

    • Ny fabric-miljö för BrainChild uppsatt. Diskussioner kring datatransformationer i de olika lagren av lösningen fortsätter.

    Variant database portal

    • Fortsatt arbete med att förbättra funktionalitet gällande klassificering av varianter baserat på feedback från GMC-West.

    Bonsai & Mimosa

    • Integrationer av Bonsai & Mimosa har påbörjats.
    • Bonsai & Mimosa kommer att leva under Open Ondemand, bakom SITHS autentisering & auktorisering.
    • Kommande diskussioner med Bonsai-utvecklare och Mimosa-utvecklare, med start den 6 mars 2026, kommer att genomföras för att ta fram en plan för hur Bonsai och Mimosa kan införas under NGP.

    /Vilma C

  • Dev-blogg vecka 9

    Dev-blogg vecka 9

    Lansering av Informationsportalen

    Välkomna till Nationella genomikplattormens dev-blogg!

    I denna dev-blogg kommer vi att publicera information om vad som har arbetats aktivt med under veckans gång. Detta för att öka insikten i hur vårt arbete fortskrider.

    I och med detta blogginlägg publiceras Informationsportalen i sin helhet.

    Variantdatabasportalen, VDP

    Variantdatabasportalen (VDP) har visats upp för GMS-representanter i syfte att samla in feedback om förbättringar. Förhandsvisning kommer hållas med GMS Rare Disease-grupp inom snar framtid för vidare insamling av feedback.

    Funktionalitet för tolkade varianter i stor utsträckning färdig, med otolkade varianter som nästa stora steg.

    Utveckling av produktionsinstansen fortlöper parallellt.

    NGP Iris

    Ny version 5.6.2 lanserad som bland annat inkluderar grundläggande bucket-hantering från CLI samt ett tjusigare gränssnitt. Viss funktionalitet kring “delete” av objekt observeras inte fungera korrekt. En ny release som löser denna problematik är på ingång med är vid tillfället för detta inlägg inte ännu färdigt.

    Bugg-rapporter och förbättringsförslag tas tacksamt emot på NGPIris github-sida:
    https://github.com/genomic-medicine-sweden/NGPIris/issues

    Open OnDemand

    Arbete påbörjat där vi kikar på hur bonsai kan tänkas publiceras under Open OnDemands tak. Open OnDemand kan tänkas agera reverse proxy och hantera authentication med befintlig SITHS-inloggning. Access till bonsai, likt för många andra tjänster inom NGP, kommer kräva ett aktivt vårdmedarbetaruppdrag (VMU).

    Vidare diskussioner kommer föras med utvecklarna för Bonsai samt Mimosa.

    NGP Cluster

    Arbetet med att få klustret redo inför den mikrobiella studien som går igång i mars kan nu fortsätta efter att problemen kring Navops har lösts, där Navops låste sig och vägrade hämta prisinformation om Azures virtuella maskiner.

    En ny VM-serie till beräkningsklustret är på ingång som erbjuder större diskar för att möjliggöra nextflows och snakemakes “scratch”-direktiv för även de största proverna. Serien kallas Las_v4 och mer info hittas här:
    https://learn.microsoft.com/en-us/azure/virtual-machines/sizes/storage-optimized/lasv4-series

    Skarpa tester av Jasen fortsätter parallellt.

    Brainchild

    Initial dataöverföring från Barntumörbanken till NGPr påbörjad. Överföringshastigheten vid första test godkänd.

    Designmöten kring den nya lösningen där NGP integreras till stor del har hållits den senaste tiden. När representativ data når oss kan vi börja skissa på datatransformationer och indexering för att möjliggöra för frontend-lösningen att smidigt hämta relevant data.

    /Jens PW