NGPcompute

  • Dev-blogg vecka 16

    Dev-blogg vecka 16

    Autentisering

    Inloggningsflödet är testat med LDAP-integration till IdM för matchning av inkommande claim som i sin tur skickas vidare till OpenOnDemand, för att auktorisering fortsatt ska kunna hanteras manuellt och OpenOnDemand inte ska behöva ställa ldap-frågor till IdM för att kunna matcha användare.

    Bonsai + Mimosa

    Arbetet med att integrera Bonsai och Mimosa i NGPn fortsätter.

    Vi har haft dialog med projektägarna för GMS-projektet “Prospektiv regional sekvensering av resistenta bakterier med samordnad nationell dataanalys” för att tydliggöra vilka versioner av Bonsai och Mimosa som ska stödjas i NGP. I samband med detta har vi också lyft att den senaste releasen av Bonsai ännu inte fullt ut stödjer data från de senaste versionerna av Jasen och bonsai-prp.

    Vi inväntar besked om detta, samtidigt som Bonsai-utvecklarna undersöker om stöd för bonsai-prp 1.5 kan backportas till Bonsai 2.1.x. Förhoppningen är också att GMC Örebro under nästa vecka laddar upp ett testdataset och referensisolat till GMC Joint-tenanten, så att vi kan testa med mer verklighetstrogen data.

    Mimosa har uppdaterats av externa utvecklare för publicering bakom reverse proxy och under en subpath, baserat på den feedback vi tidigare delat med dem. Vi inväntar nu en stabil release innan Mimosa-instansen i NGP uppdateras.

    NGP Cluster

    Vi har genomfört testkörningar av pipelines.

    Variantdatabasportalen(VDP)

    Vi har hållit ett möte och en grupp ska bildas för att beta testa portalen. Vidare utveckling av portalen fortsätter.

    /Hedy Pettersson

  • Dev-blogg vecka 15

    Dev-blogg vecka 15

    Bonsai + Mimosa

    Tidigare problem vid import av riktiga Jasen-resultat berodde på att olika versioner av GMC-noder använder olika versioner av JASEN. Den senaste releasen av Bonsai har ej stöd för JASEN 1.2, men stöd för detta är under utveckling.


    Tidigare tester med mock-data bör dock vara tecken på att Bonsai och Mimosa integrationerna i NGP:n fungerar. För den pågående pilotstudien så behöver vi få förtydligat för oss vilken version av JASEN och Bonsai vi behöver ha stöd för i NGP:n.

    Automation

    Testar stackstorm i azure miljö. Stackstorm är en automations-mjukvara som syftar till att lösa problematiken kring när/var/hur/varför analyser ska starta på NGPc. Man kan t.ex. föreställa sig att råa prov som laddats upp i valfri bucket/namespace på NGPr ska detekteras av en Stackstorm-sensor som i sin tur “triggar” ett arbetsflöde att starta som involverar nedladdning, analys, och uppladdning.

    Det är många pusselbitar som behöver sitta ihop korrekt och problem som behöver lösas, t.ex. spårbarhet av jobb när stackstorm lämnar över till grid engine och vice versa.

    Autentisering

    Testar vidare med en Keycloak-uppsättning med två noder som opererar under en lastbalanserare tillsammans med en gemensam databas för att försöka göra en lösning med High Availability.

    Brainchild

    Mer arbete med att igång arbetet med datan från BTB som kommer användas i brainchild

    // Aisha Alsafi

  • Dev-blogg vecka 14

    Dev-blogg vecka 14

    Bonsai + Mimosa

    Import av riktiga Jasen-resultat in i Bonsai har gått mindre bra. Utvecklarna har kontaktats för assistans.

    En testmiljö har skapats inom HCP:n för att hålla exempelfiler för test av diverse integrationer, bland annat automatisk hämtning av data från HCP till lokal lagring för import in i Bonsai och Mimosa.

    Automation

    Stackstorm tittas just nu på som lösning för att lösa automationsbiten inom NGPc. Denna ska kunna agera utifrån triggers för att diktera vilka arbetsflöden som ska starta som respons. Ett primärt användningsområde skulle vara att detektera ny data inom specifika ytor på HCP:n för att sedan låta underliggande logik bestämma vilken pipeline som bör starta, samt vart resultat sedan ska skickas.

    Autentisering

    En uppsättning av Keycloak har gjorts där vi testar olika inloggningsflöden inom NGP. Förhoppningen är att denna ska lösa problematiken kring implementation av multipla inloggningslösningar/flöden, och stödjer bland annat SAML, OAuth2, OpenIDConnect som protokoll.

    Felsökning HCP

    Felsökning fortsätter för att lista ut den underliggande orsaken till de så kallade “non-replicating objects”-felen som har observerats hos HCP:n. BDC, KSD samt Hitachi är involverade i processen.

    // Jens PW

  • Dev-blogg vecka 13

    Dev-blogg vecka 13

    Ny lagringslösning med Azure NetApp Files

    Vi har etablerat och driftsatt en ny lagringslösning baserad på Azure NetApp Files för NGPc-klustret. Detta ersätter den tidigare Lustre-baserade lagringen.

    Framsteg i Bonsai- och Mimosa-integrationerna

    Arbetet med Bonsai och Mimosa har fortsatt med fokus på både praktisk testning och strategiska vägval:

    • Mockdata har laddats upp och klustringar har genomförts framgångsrikt i både Bonsai och Mimosa.
    • Vi har haft en första intern diskussion kring nästa steg i integrationerna, där vi bland annat tittar på:
      • Hantering av större datamängder
      • Stöd för många samtidiga användare
      • Prioritering av uppladdningar och klustringar
      • Data persistence
      • Eventuell utbyte av MongoDB-databaserna
    • Insamlad feedback har skickats vidare till Bonsai- och Mimosa-teamen, och vi har påbörjat nästa runda av frågor och synpunkter.
    • Arbetet med att ladda upp JASEN-data till NGPr (HCP) har inletts, och vi har även börjat testa med verklig data.
    • Nästa steg är att boka ett gemensamt möte för att konkretisera vad som krävs för att få en MVP på plats inför studien. Fokus kommer ligga på:
      • När och var data ska laddas upp
      • Exakt vilken data Bonsai och Mimosa behöver från JASENs output

    Vidareutveckling av Variantdatabasportalen

    Utvecklingen av variantdatabasportalen (VDP) fortsätter inför GMS RD-gruppens månadsmöte i början av april. Arbetet har främst fokuserat på:

    • Förbättringar av befintlig funktionalitet
    • Buggfixar och stabilisering

    NGP IRIS – kommande release

    En ny version av NGP IRIS (v5.6.7) är under utveckling. Den kommer bland annat att introducera stöd för rekursiv uppladdning av mappar, vilket innebär att mappar som innehåller undermappar kan hanteras direkt vid uppladdning.

    // Erik B

  • Dev-blogg vecka 10

    Dev-blogg vecka 10

    Allmänt

    • Klustret är i stora drag redo för den stora mikrobiella studie som startar i mars. 

    NGP Cluster

    • Lustre-filsystem nu tillgänglig som arbetsyta för arbetsnoderna på NGPc. Denna kan vid behov skalas upp manuellt både storleksmässigt och prestandamässigt i takt med att användningen av klustret ökar.

    Brainchild

    • Ny fabric-miljö för BrainChild uppsatt. Diskussioner kring datatransformationer i de olika lagren av lösningen fortsätter.

    Variant database portal

    • Fortsatt arbete med att förbättra funktionalitet gällande klassificering av varianter baserat på feedback från GMC-West.

    Bonsai & Mimosa

    • Integrationer av Bonsai & Mimosa har påbörjats.
    • Bonsai & Mimosa kommer att leva under Open Ondemand, bakom SITHS autentisering & auktorisering.
    • Kommande diskussioner med Bonsai-utvecklare och Mimosa-utvecklare, med start den 6 mars 2026, kommer att genomföras för att ta fram en plan för hur Bonsai och Mimosa kan införas under NGP.

    /Vilma C

  • Dev-blogg vecka 9

    Dev-blogg vecka 9

    Lansering av Informationsportalen

    Välkomna till Nationella genomikplattormens dev-blogg!

    I denna dev-blogg kommer vi att publicera information om vad som har arbetats aktivt med under veckans gång. Detta för att öka insikten i hur vårt arbete fortskrider.

    I och med detta blogginlägg publiceras Informationsportalen i sin helhet.

    Variantdatabasportalen, VDP

    Variantdatabasportalen (VDP) har visats upp för GMS-representanter i syfte att samla in feedback om förbättringar. Förhandsvisning kommer hållas med GMS Rare Disease-grupp inom snar framtid för vidare insamling av feedback.

    Funktionalitet för tolkade varianter i stor utsträckning färdig, med otolkade varianter som nästa stora steg.

    Utveckling av produktionsinstansen fortlöper parallellt.

    NGP Iris

    Ny version 5.6.2 lanserad som bland annat inkluderar grundläggande bucket-hantering från CLI samt ett tjusigare gränssnitt. Viss funktionalitet kring “delete” av objekt observeras inte fungera korrekt. En ny release som löser denna problematik är på ingång med är vid tillfället för detta inlägg inte ännu färdigt.

    Bugg-rapporter och förbättringsförslag tas tacksamt emot på NGPIris github-sida:
    https://github.com/genomic-medicine-sweden/NGPIris/issues

    Open OnDemand

    Arbete påbörjat där vi kikar på hur bonsai kan tänkas publiceras under Open OnDemands tak. Open OnDemand kan tänkas agera reverse proxy och hantera authentication med befintlig SITHS-inloggning. Access till bonsai, likt för många andra tjänster inom NGP, kommer kräva ett aktivt vårdmedarbetaruppdrag (VMU).

    Vidare diskussioner kommer föras med utvecklarna för Bonsai samt Mimosa.

    NGP Cluster

    Arbetet med att få klustret redo inför den mikrobiella studien som går igång i mars kan nu fortsätta efter att problemen kring Navops har lösts, där Navops låste sig och vägrade hämta prisinformation om Azures virtuella maskiner.

    En ny VM-serie till beräkningsklustret är på ingång som erbjuder större diskar för att möjliggöra nextflows och snakemakes “scratch”-direktiv för även de största proverna. Serien kallas Las_v4 och mer info hittas här:
    https://learn.microsoft.com/en-us/azure/virtual-machines/sizes/storage-optimized/lasv4-series

    Skarpa tester av Jasen fortsätter parallellt.

    Brainchild

    Initial dataöverföring från Barntumörbanken till NGPr påbörjad. Överföringshastigheten vid första test godkänd.

    Designmöten kring den nya lösningen där NGP integreras till stor del har hållits den senaste tiden. När representativ data når oss kan vi börja skissa på datatransformationer och indexering för att möjliggöra för frontend-lösningen att smidigt hämta relevant data.

    /Jens PW