NetApp

  • Dev-blogg vecka 24

    Dev-blogg vecka 24

    BrainChild

    Design av BrainChild-portalen har påbörjats.

    NGP

    Integrationer: Bonsai & Mimosa

    Vi har haft en initial dialog med GMC Örebro om huruvida Mimosas API bör utökas med stöd för att ladda upp prover och initiera klustringsjobb. Behovet behöver först beläggas och kravställas innan sådant stöd läggs till i API:et.

    Som en snabb, och möjligtvis tillfällig, lösning utvecklar GMC Väst ett tilläggs”-PI som återanvänder så mycket som möjligt av Mimosas automationsskript.

    Systemunderhåll

    Vi utförde uppdateringar och omstarter av tjänster och portaler i veckan.

    Detta var det första rutinlagda systemunderhållsfönstret, som infaller den andra onsdagen varje månad (med undantag för semesterveckor).

    NGPc

    Netapp-arbetslagring

    Skalningslogik har implementerats för Azure Netapp Files som agerar arbetslagringen för pipelines. Logiken tittar på både storleksanvändning och nuvarande belastning för att göra en bedömning om den ska skala upp eller ner.

    Tidigare har ett så kallat “flexibelt” tier använts, men denna går inte att skala upp och ner fritt. Denna har haft en statisk storlek och “throughput” på 4 TiB och 512 MiB/s. Istället har vi bytt till “Ultra” där storlek och throughput skalar med varandra, 1 TiB och 128 MiB/s i taget.

    Koden körs på cron-schema och kommer till en början skala upp 1 TiB i taget. Om man märker att det går för långsamt (primärt throughput-mässigt) så kan man skala upp eller ner mer än så, så att fler processer ska kunna köra och köras snabbare.

    I och med denna skalning kan man spara pengar under perioder av låg aktivitet, samtidigt som man gör det möjligt att köra fler pipelines samtidigt och snabbare överlag.

    Annan lagring

    I och med ovan förändring har andra lagringar plockats bort eller förändrats.

    • /ngp/netapp som tidigare använts som test är bortplockad
    • /ngp/scratch som tidigare varit en blob-lagring har nu ersatts av ovan skalande netapp-lösning.

    Variantdatabasportalen (VDP)

    • Vi undersöker just nu hur vi kan integrera interaktiva grafer i portalen.
    • Fler förbättringar av användarupplevelsen (UX) är under utveckling.
    • Utvecklingen av stöd för import av Excel-filer med Alamut-format fortgår.
    • Vi har börjat titta på hur man kan skapa en gemensam mall för användning i databasen.

    / Johan C

  • Dev-blogg vecka 13

    Dev-blogg vecka 13

    Ny lagringslösning med Azure NetApp Files

    Vi har etablerat och driftsatt en ny lagringslösning baserad på Azure NetApp Files för NGPc-klustret. Detta ersätter den tidigare Lustre-baserade lagringen.

    Framsteg i Bonsai- och Mimosa-integrationerna

    Arbetet med Bonsai och Mimosa har fortsatt med fokus på både praktisk testning och strategiska vägval:

    • Mockdata har laddats upp och klustringar har genomförts framgångsrikt i både Bonsai och Mimosa.
    • Vi har haft en första intern diskussion kring nästa steg i integrationerna, där vi bland annat tittar på:
      • Hantering av större datamängder
      • Stöd för många samtidiga användare
      • Prioritering av uppladdningar och klustringar
      • Data persistence
      • Eventuell utbyte av MongoDB-databaserna
    • Insamlad feedback har skickats vidare till Bonsai- och Mimosa-teamen, och vi har påbörjat nästa runda av frågor och synpunkter.
    • Arbetet med att ladda upp JASEN-data till NGPr (HCP) har inletts, och vi har även börjat testa med verklig data.
    • Nästa steg är att boka ett gemensamt möte för att konkretisera vad som krävs för att få en MVP på plats inför studien. Fokus kommer ligga på:
      • När och var data ska laddas upp
      • Exakt vilken data Bonsai och Mimosa behöver från JASENs output

    Vidareutveckling av Variantdatabasportalen

    Utvecklingen av variantdatabasportalen (VDP) fortsätter inför GMS RD-gruppens månadsmöte i början av april. Arbetet har främst fokuserat på:

    • Förbättringar av befintlig funktionalitet
    • Buggfixar och stabilisering

    NGP IRIS – kommande release

    En ny version av NGP IRIS (v5.6.7) är under utveckling. Den kommer bland annat att introducera stöd för rekursiv uppladdning av mappar, vilket innebär att mappar som innehåller undermappar kan hanteras direkt vid uppladdning.

    // Erik B