ngp-admin

  • Dev-blogg vecka 18

    Dev-blogg vecka 18

    NGPc: Open OnDemand (OOD) och Keycloak

    Den nya Open OnDemand-miljön är nu konfigurerad och kör i Azure, med Keycloak som del av inloggningsflödet. Just nu tittar vi även på backup för Keycloak, där återställningstester blir en viktig del innan vi kan känna oss trygga med att driftsätta den nya lösningen.

    För att garantera att säkerheten upprätthålls går också igenom detaljerna i autentiseringsflödena, bland annat hur AuthnContextClassRef mappas till acr, och vilka inkommande claims som faktiskt behöver verifieras.

    NGPc: Övervakning

    Övervakning av arbetsnoderna i NGPc håller på att införas.
    Det kommer att gör det enklare att följa resursförbrukning på noderna samt deras hälsa, och ger oss en bättre grund för att bygga logik som tidigt kan varna när fördefinierade riktvärden överskrids.

    Benchmark av pipelines

    Vi jobbar vidare med en rutin för benchmarking av pipelines.
    En ny Grid Engine-kö har satts upp för sekventiella körningar, vilket tillsammans med den nya övervakningen ska hjälpa oss att hitta flaskhalsar i olika pipelines.

    GMC-joint

    Den tekniska administrationen av GMC-joint ses över.
    Nya rutiner tas fram för att tydliggöra vem som har access till vad, och tekniska admins för respektive GMC kommer att kontaktas för att uppdateras kring de nya rutinerna.

    /Johan C

  • Dev-blogg vecka 15

    Dev-blogg vecka 15

    Bonsai + Mimosa

    Tidigare problem vid import av riktiga Jasen-resultat berodde på att olika versioner av GMC-noder använder olika versioner av JASEN. Den senaste releasen av Bonsai har ej stöd för JASEN 1.2, men stöd för detta är under utveckling.


    Tidigare tester med mock-data bör dock vara tecken på att Bonsai och Mimosa integrationerna i NGP:n fungerar. För den pågående pilotstudien så behöver vi få förtydligat för oss vilken version av JASEN och Bonsai vi behöver ha stöd för i NGP:n.

    Automation

    Testar stackstorm i azure miljö. Stackstorm är en automations-mjukvara som syftar till att lösa problematiken kring när/var/hur/varför analyser ska starta på NGPc. Man kan t.ex. föreställa sig att råa prov som laddats upp i valfri bucket/namespace på NGPr ska detekteras av en Stackstorm-sensor som i sin tur “triggar” ett arbetsflöde att starta som involverar nedladdning, analys, och uppladdning.

    Det är många pusselbitar som behöver sitta ihop korrekt och problem som behöver lösas, t.ex. spårbarhet av jobb när stackstorm lämnar över till grid engine och vice versa.

    Autentisering

    Testar vidare med en Keycloak-uppsättning med två noder som opererar under en lastbalanserare tillsammans med en gemensam databas för att försöka göra en lösning med High Availability.

    Brainchild

    Mer arbete med att igång arbetet med datan från BTB som kommer användas i brainchild

    // Aisha Alsafi

  • Lansering av NGP Informationsportalen

    Lansering av NGP Informationsportalen

    Nationella genomikplattformen lanserar Informationsportalen.

    Informationsportalen är vår nya startsida, där du hittar information, samt dokumentation för alla projekt som omfattas av den Nationella genomikplattformen.

    I portalen publiceras också nyheter om dess arkitektur, tjänster och projekt, samt en dev-blogg med den senaste utvecklingen. Här förmedlar vi projektens status och vilken fas de befinner sig i.

    Här publicerar vi löpande uppdateringar om NGP och de olika underprojekt vi arbetar med.

  • Dev-blogg vecka 9

    Dev-blogg vecka 9

    Lansering av Informationsportalen

    Välkomna till Nationella genomikplattormens dev-blogg!

    I denna dev-blogg kommer vi att publicera information om vad som har arbetats aktivt med under veckans gång. Detta för att öka insikten i hur vårt arbete fortskrider.

    I och med detta blogginlägg publiceras Informationsportalen i sin helhet.

    Variantdatabasportalen, VDP

    Variantdatabasportalen (VDP) har visats upp för GMS-representanter i syfte att samla in feedback om förbättringar. Förhandsvisning kommer hållas med GMS Rare Disease-grupp inom snar framtid för vidare insamling av feedback.

    Funktionalitet för tolkade varianter i stor utsträckning färdig, med otolkade varianter som nästa stora steg.

    Utveckling av produktionsinstansen fortlöper parallellt.

    NGP Iris

    Ny version 5.6.2 lanserad som bland annat inkluderar grundläggande bucket-hantering från CLI samt ett tjusigare gränssnitt. Viss funktionalitet kring “delete” av objekt observeras inte fungera korrekt. En ny release som löser denna problematik är på ingång med är vid tillfället för detta inlägg inte ännu färdigt.

    Bugg-rapporter och förbättringsförslag tas tacksamt emot på NGPIris github-sida:
    https://github.com/genomic-medicine-sweden/NGPIris/issues

    Open OnDemand

    Arbete påbörjat där vi kikar på hur bonsai kan tänkas publiceras under Open OnDemands tak. Open OnDemand kan tänkas agera reverse proxy och hantera authentication med befintlig SITHS-inloggning. Access till bonsai, likt för många andra tjänster inom NGP, kommer kräva ett aktivt vårdmedarbetaruppdrag (VMU).

    Vidare diskussioner kommer föras med utvecklarna för Bonsai samt Mimosa.

    NGP Cluster

    Arbetet med att få klustret redo inför den mikrobiella studien som går igång i mars kan nu fortsätta efter att problemen kring Navops har lösts, där Navops låste sig och vägrade hämta prisinformation om Azures virtuella maskiner.

    En ny VM-serie till beräkningsklustret är på ingång som erbjuder större diskar för att möjliggöra nextflows och snakemakes “scratch”-direktiv för även de största proverna. Serien kallas Las_v4 och mer info hittas här:
    https://learn.microsoft.com/en-us/azure/virtual-machines/sizes/storage-optimized/lasv4-series

    Skarpa tester av Jasen fortsätter parallellt.

    Brainchild

    Initial dataöverföring från Barntumörbanken till NGPr påbörjad. Överföringshastigheten vid första test godkänd.

    Designmöten kring den nya lösningen där NGP integreras till stor del har hållits den senaste tiden. När representativ data når oss kan vi börja skissa på datatransformationer och indexering för att möjliggöra för frontend-lösningen att smidigt hämta relevant data.

    /Jens PW