ngp-admin

  • Dev-blogg vecka 26

    Dev-blogg vecka 26

    BrainChild

    • Portalen är uppe för visning av den öppna aggregerade Power BI-rapporten.
    • Designarbetet pågår.

    NGPr/HCP snabbguide

    • En ny snabbguide till användandet av NGPr (HCP) skissas just nu på. Denna är tänkt att summera konceptet i sin helhet men också inkludera detaljer som rör det mest väsentliga med lösningen. Fokus kommer ligga på själva manageringen av “Tenanten” och mindre i hur man laddar upp/ner filer till lagringen.
    • Vi tänker också inkludera rutiner för hur man bör agera ur ett säkerhetsperspektiv när man behöver generera nya konton eller dela ut bredare access till användare.
    • Det kommer också ingå information om hur GMC-joint och rutinerna kring denna fungerar. I och med att projektet utvecklats över tid så finns det en del historiskt vi behöver se över och korrigera, samt informera tekniska admins på alla GMC om hur rutinerna bör se ut framöver.
    • Både snabbguiden och rutinerna diskuteras/skrivs fortfarande och är inte ännu mogna nog för att delas med av. Vi hanterar aktuella ärenden på bästa tänkbara sätt i takt med att de dyker upp.
    • Det är ännu inte heller bestämt hur denna information kommer spridas.

    Autentisering

    Arbetar på en generell modul för att hantera OpenIDConnect autentisering i Django som är tänkt att användas för alla projekt/inloggningsmetoder som kommunicerar med OpenIDConnect.

    Syftet är att kunna generalisera och förenkla inloggningslösningarna för de portaler som vi bygger.

    /Aisha Alsafi

  • Dev-blogg vecka 24

    Dev-blogg vecka 24

    BrainChild

    Design av BrainChild-portalen har påbörjats.

    NGP

    Integrationer: Bonsai & Mimosa

    Vi har haft en initial dialog med GMC Örebro om huruvida Mimosas API bör utökas med stöd för att ladda upp prover och initiera klustringsjobb. Behovet behöver först beläggas och kravställas innan sådant stöd läggs till i API:et.

    Som en snabb, och möjligtvis tillfällig, lösning utvecklar GMC Väst ett tilläggs”-PI som återanvänder så mycket som möjligt av Mimosas automationsskript.

    Systemunderhåll

    Vi utförde uppdateringar och omstarter av tjänster och portaler i veckan.

    Detta var det första rutinlagda systemunderhållsfönstret, som infaller den andra onsdagen varje månad (med undantag för semesterveckor).

    NGPc

    Netapp-arbetslagring

    Skalningslogik har implementerats för Azure Netapp Files som agerar arbetslagringen för pipelines. Logiken tittar på både storleksanvändning och nuvarande belastning för att göra en bedömning om den ska skala upp eller ner.

    Tidigare har ett så kallat “flexibelt” tier använts, men denna går inte att skala upp och ner fritt. Denna har haft en statisk storlek och “throughput” på 4 TiB och 512 MiB/s. Istället har vi bytt till “Ultra” där storlek och throughput skalar med varandra, 1 TiB och 128 MiB/s i taget.

    Koden körs på cron-schema och kommer till en början skala upp 1 TiB i taget. Om man märker att det går för långsamt (primärt throughput-mässigt) så kan man skala upp eller ner mer än så, så att fler processer ska kunna köra och köras snabbare.

    I och med denna skalning kan man spara pengar under perioder av låg aktivitet, samtidigt som man gör det möjligt att köra fler pipelines samtidigt och snabbare överlag.

    Annan lagring

    I och med ovan förändring har andra lagringar plockats bort eller förändrats.

    • /ngp/netapp som tidigare använts som test är bortplockad
    • /ngp/scratch som tidigare varit en blob-lagring har nu ersatts av ovan skalande netapp-lösning.

    Variantdatabasportalen (VDP)

    • Vi undersöker just nu hur vi kan integrera interaktiva grafer i portalen.
    • Fler förbättringar av användarupplevelsen (UX) är under utveckling.
    • Utvecklingen av stöd för import av Excel-filer med Alamut-format fortgår.
    • Vi har börjat titta på hur man kan skapa en gemensam mall för användning i databasen.

    / Johan C

  • Dev-blogg vecka 21

    Dev-blogg vecka 21

    Jasen + Bonsai + Mimosa

    Arbetet med att adaptera den befintliga lösningen utifrån de förtydligade ska-kraven har påbörjats. Som en del av detta arbete har en ny delad lagringsyta, “hot storage”, för Jasen-resultat skapats. Denna ska användas av den Jasen-Bonsai-Mimosa-pipeline (JBM) som håller på att utvecklas, samt av Bonsai vid klustringskörningar.

    NGPc

    Patching av dirty frag samt fragnesia sårbarheterna har påbörjats, och vi siktar på att patcha det som återstår nästa vecka.

    Variantdatabasportalen

    Vi har haft möte med en referensgrupp som bildats inom GMS RD-grupp

    Vi håller på att bearbeta den feedback vi har fått.


    /Aisha Alsafi

  • Dev-blogg vecka 18

    Dev-blogg vecka 18

    NGPc: Open OnDemand (OOD) och Keycloak

    Den nya Open OnDemand-miljön är nu konfigurerad och kör i Azure, med Keycloak som del av inloggningsflödet. Just nu tittar vi även på backup för Keycloak, där återställningstester blir en viktig del innan vi kan känna oss trygga med att driftsätta den nya lösningen.

    För att garantera att säkerheten upprätthålls går också igenom detaljerna i autentiseringsflödena, bland annat hur AuthnContextClassRef mappas till acr, och vilka inkommande claims som faktiskt behöver verifieras.

    NGPc: Övervakning

    Övervakning av arbetsnoderna i NGPc håller på att införas.
    Det kommer att gör det enklare att följa resursförbrukning på noderna samt deras hälsa, och ger oss en bättre grund för att bygga logik som tidigt kan varna när fördefinierade riktvärden överskrids.

    Benchmark av pipelines

    Vi jobbar vidare med en rutin för benchmarking av pipelines.
    En ny Grid Engine-kö har satts upp för sekventiella körningar, vilket tillsammans med den nya övervakningen ska hjälpa oss att hitta flaskhalsar i olika pipelines.

    GMC-joint

    Den tekniska administrationen av GMC-joint ses över.
    Nya rutiner tas fram för att tydliggöra vem som har access till vad, och tekniska admins för respektive GMC kommer att kontaktas för att uppdateras kring de nya rutinerna.

    /Johan C

  • Dev-blogg vecka 15

    Dev-blogg vecka 15

    Bonsai + Mimosa

    Tidigare problem vid import av riktiga Jasen-resultat berodde på att olika versioner av GMC-noder använder olika versioner av JASEN. Den senaste releasen av Bonsai har ej stöd för JASEN 1.2, men stöd för detta är under utveckling.


    Tidigare tester med mock-data bör dock vara tecken på att Bonsai och Mimosa integrationerna i NGP:n fungerar. För den pågående pilotstudien så behöver vi få förtydligat för oss vilken version av JASEN och Bonsai vi behöver ha stöd för i NGP:n.

    Automation

    Testar stackstorm i azure miljö. Stackstorm är en automations-mjukvara som syftar till att lösa problematiken kring när/var/hur/varför analyser ska starta på NGPc. Man kan t.ex. föreställa sig att råa prov som laddats upp i valfri bucket/namespace på NGPr ska detekteras av en Stackstorm-sensor som i sin tur “triggar” ett arbetsflöde att starta som involverar nedladdning, analys, och uppladdning.

    Det är många pusselbitar som behöver sitta ihop korrekt och problem som behöver lösas, t.ex. spårbarhet av jobb när stackstorm lämnar över till grid engine och vice versa.

    Autentisering

    Testar vidare med en Keycloak-uppsättning med två noder som opererar under en lastbalanserare tillsammans med en gemensam databas för att försöka göra en lösning med High Availability.

    Brainchild

    Mer arbete med att igång arbetet med datan från BTB som kommer användas i brainchild

    // Aisha Alsafi

  • Lansering av NGP Informationsportalen

    Lansering av NGP Informationsportalen

    Nationella genomikplattformen lanserar Informationsportalen.

    Informationsportalen är vår nya startsida, där du hittar information, samt dokumentation för alla projekt som omfattas av den Nationella genomikplattformen.

    I portalen publiceras också nyheter om dess arkitektur, tjänster och projekt, samt en dev-blogg med den senaste utvecklingen. Här förmedlar vi projektens status och vilken fas de befinner sig i.

    Här publicerar vi löpande uppdateringar om NGP och de olika underprojekt vi arbetar med.

  • Dev-blogg vecka 9

    Dev-blogg vecka 9

    Lansering av Informationsportalen

    Välkomna till Nationella genomikplattormens dev-blogg!

    I denna dev-blogg kommer vi att publicera information om vad som har arbetats aktivt med under veckans gång. Detta för att öka insikten i hur vårt arbete fortskrider.

    I och med detta blogginlägg publiceras Informationsportalen i sin helhet.

    Variantdatabasportalen, VDP

    Variantdatabasportalen (VDP) har visats upp för GMS-representanter i syfte att samla in feedback om förbättringar. Förhandsvisning kommer hållas med GMS Rare Disease-grupp inom snar framtid för vidare insamling av feedback.

    Funktionalitet för tolkade varianter i stor utsträckning färdig, med otolkade varianter som nästa stora steg.

    Utveckling av produktionsinstansen fortlöper parallellt.

    NGP Iris

    Ny version 5.6.2 lanserad som bland annat inkluderar grundläggande bucket-hantering från CLI samt ett tjusigare gränssnitt. Viss funktionalitet kring “delete” av objekt observeras inte fungera korrekt. En ny release som löser denna problematik är på ingång med är vid tillfället för detta inlägg inte ännu färdigt.

    Bugg-rapporter och förbättringsförslag tas tacksamt emot på NGPIris github-sida:
    https://github.com/genomic-medicine-sweden/NGPIris/issues

    Open OnDemand

    Arbete påbörjat där vi kikar på hur bonsai kan tänkas publiceras under Open OnDemands tak. Open OnDemand kan tänkas agera reverse proxy och hantera authentication med befintlig SITHS-inloggning. Access till bonsai, likt för många andra tjänster inom NGP, kommer kräva ett aktivt vårdmedarbetaruppdrag (VMU).

    Vidare diskussioner kommer föras med utvecklarna för Bonsai samt Mimosa.

    NGP Cluster

    Arbetet med att få klustret redo inför den mikrobiella studien som går igång i mars kan nu fortsätta efter att problemen kring Navops har lösts, där Navops låste sig och vägrade hämta prisinformation om Azures virtuella maskiner.

    En ny VM-serie till beräkningsklustret är på ingång som erbjuder större diskar för att möjliggöra nextflows och snakemakes “scratch”-direktiv för även de största proverna. Serien kallas Las_v4 och mer info hittas här:
    https://learn.microsoft.com/en-us/azure/virtual-machines/sizes/storage-optimized/lasv4-series

    Skarpa tester av Jasen fortsätter parallellt.

    Brainchild

    Initial dataöverföring från Barntumörbanken till NGPr påbörjad. Överföringshastigheten vid första test godkänd.

    Designmöten kring den nya lösningen där NGP integreras till stor del har hållits den senaste tiden. När representativ data når oss kan vi börja skissa på datatransformationer och indexering för att möjliggöra för frontend-lösningen att smidigt hämta relevant data.

    /Jens PW