Open OnDemand

  • Dev-blogg vecka 17

    Dev-blogg vecka 17

    Autentisering

    Konfiguration av ny Open OnDemand instans med inloggning via Keycloak har börjat sättas upp i NGP.

    Azure NetApp files

    Utreder hur man effektivast skalar Netapp-lagringen utifrån nuvarande workload. Tekniska begränsningar i hur man viktar total storlek mot total throughput gör det svårt att hitta rätt utifrån ett kostnadsperspektiv. I samband med detta görs ett försök att sätta upp rutiner för att identifiera vart flaskhalsar ligger för diverse pipelines inom en bredare kontext.

    Bonsai + Mimosa

    Arbetar med automation för att kunna hämta JASEN-output från HCP för att köra i bonsai.

    Inväntar ett testdataset från GMC Örebro för att kunna testa med verklighetstrogen data.

    BrainChild

    Arbetet med indexing av Barntumörbanken data fortgår.

    /Aron C

  • Dev-blogg vecka 15

    Dev-blogg vecka 15

    Bonsai + Mimosa

    Tidigare problem vid import av riktiga Jasen-resultat berodde på att olika versioner av GMC-noder använder olika versioner av JASEN. Den senaste releasen av Bonsai har ej stöd för JASEN 1.2, men stöd för detta är under utveckling.


    Tidigare tester med mock-data bör dock vara tecken på att Bonsai och Mimosa integrationerna i NGP:n fungerar. För den pågående pilotstudien så behöver vi få förtydligat för oss vilken version av JASEN och Bonsai vi behöver ha stöd för i NGP:n.


    Automation

    Testar stackstorm i azure miljö. Stackstorm är en automations-mjukvara som syftar till att lösa problematiken kring när/var/hur/varför analyser ska starta på NGPc. Man kan t.ex. föreställa sig att råa prov som laddats upp i valfri bucket/namespace på NGPr ska detekteras av en Stackstorm-sensor som i sin tur “triggar” ett arbetsflöde att starta som involverar nedladdning, analys, och uppladdning.

    Det är många pusselbitar som behöver sitta ihop korrekt och problem som behöver lösas, t.ex. spårbarhet av jobb när stackstorm lämnar över till grid engine och vice versa.


    Autentisering

    Testar vidare med en Keycloak-uppsättning med två noder som opererar under en lastbalanserare tillsammans med en gemensam databas för att försöka göra en lösning med High Availability.


    Brainchild

    Mer arbete med att igång arbetet med datan från BTB som kommer användas i brainchild

    // Aisha Alsafi

  • Dev-blogg vecka 14

    Dev-blogg vecka 14

    Bonsai + Mimosa

    Import av riktiga Jasen-resultat in i Bonsai har gått mindre bra. Utvecklarna har kontaktats för assistans.

    En testmiljö har skapats inom HCP:n för att hålla exempelfiler för test av diverse integrationer, bland annat automatisk hämtning av data från HCP till lokal lagring för import in i Bonsai och Mimosa.

    Automation

    Stackstorm tittas just nu på som lösning för att lösa automationsbiten inom NGPc. Denna ska kunna agera utifrån triggers för att diktera vilka arbetsflöden som ska starta som respons. Ett primärt användningsområde skulle vara att detektera ny data inom specifika ytor på HCP:n för att sedan låta underliggande logik bestämma vilken pipeline som bör starta, samt vart resultat sedan ska skickas.

    Autentisering

    En uppsättning av Keycloak har gjorts där vi testar olika inloggningsflöden inom NGP. Förhoppningen är att denna ska lösa problematiken kring implementation av multipla inloggningslösningar/flöden, och stödjer bland annat SAML, OAuth2, OpenIDConnect som protokoll.

    Felsökning HCP

    Felsökning fortsätter för att lista ut den underliggande orsaken till de så kallade “non-replicating objects”-felen som har observerats hos HCP:n. BDC, KSD samt Hitachi är involverade i processen.

    // Jens PW

  • Dev-blogg vecka 9

    Dev-blogg vecka 9

    Lansering av Informationsportalen

    Välkomna till Nationella genomikplattormens dev-blogg!

    I denna dev-blogg kommer vi att publicera information om vad som har arbetats aktivt med under veckans gång. Detta för att öka insikten i hur vårt arbete fortskrider.

    I och med detta blogginlägg publiceras Informationsportalen i sin helhet.

    Variantdatabasportalen, VDP

    Variantdatabasportalen (VDP) har visats upp för GMS-representanter i syfte att samla in feedback om förbättringar. Förhandsvisning kommer hållas med GMS Rare Disease-grupp inom snar framtid för vidare insamling av feedback.

    Funktionalitet för tolkade varianter i stor utsträckning färdig, med otolkade varianter som nästa stora steg.

    Utveckling av produktionsinstansen fortlöper parallellt.

    NGP Iris

    Ny version 5.6.2 lanserad som bland annat inkluderar grundläggande bucket-hantering från CLI samt ett tjusigare gränssnitt. Viss funktionalitet kring “delete” av objekt observeras inte fungera korrekt. En ny release som löser denna problematik är på ingång med är vid tillfället för detta inlägg inte ännu färdigt.

    Bugg-rapporter och förbättringsförslag tas tacksamt emot på NGPIris github-sida:
    https://github.com/genomic-medicine-sweden/NGPIris/issues

    Open OnDemand

    Arbete påbörjat där vi kikar på hur bonsai kan tänkas publiceras under Open OnDemands tak. Open OnDemand kan tänkas agera reverse proxy och hantera authentication med befintlig SITHS-inloggning. Access till bonsai, likt för många andra tjänster inom NGP, kommer kräva ett aktivt vårdmedarbetaruppdrag (VMU).

    Vidare diskussioner kommer föras med utvecklarna för Bonsai samt Mimosa.

    NGP Cluster

    Arbetet med att få klustret redo inför den mikrobiella studien som går igång i mars kan nu fortsätta efter att problemen kring Navops har lösts, där Navops låste sig och vägrade hämta prisinformation om Azures virtuella maskiner.

    En ny VM-serie till beräkningsklustret är på ingång som erbjuder större diskar för att möjliggöra nextflows och snakemakes “scratch”-direktiv för även de största proverna. Serien kallas Las_v4 och mer info hittas här:
    https://learn.microsoft.com/en-us/azure/virtual-machines/sizes/storage-optimized/lasv4-series

    Skarpa tester av Jasen fortsätter parallellt.

    Brainchild

    Initial dataöverföring från Barntumörbanken till NGPr påbörjad. Överföringshastigheten vid första test godkänd.

    Designmöten kring den nya lösningen där NGP integreras till stor del har hållits den senaste tiden. När representativ data når oss kan vi börja skissa på datatransformationer och indexering för att möjliggöra för frontend-lösningen att smidigt hämta relevant data.

    /Jens PW