Gå til innhold

Referanse

Referansesidene beskriver plattformen slik den er: hvilke regler som gjelder, hva Dataspeilet har satt opp for teamet ditt, og hvilke felt og verdier du kan bruke i din egen konfigurasjon. Sidene er laget for å slå opp i, ikke for å leses fra start til slutt.

Leter du etter hvordan du gjør noe, finner du det i Guider. Lurer du på hvorfor plattformen er som den er, står det i Om plattformen.

Regler og konvensjoner

Det som gjelder uansett hva du bygger.

  • Brukervilkår og ansvar — hva teamet tar ansvar for når det bruker plattformen: dataeierskap, risikovurdering, tilgangsstyring og backup
  • Roller og rettigheter — gruppene i hvert workspace, hva hver rolle kan gjøre, og service principals for GitHub Actions
  • Navnekonvensjoner — navnemønstre for kataloger, skjemaer, tabeller, bundles, jobber, sendere og identiteter
  • Anbefalte språk — Python og SQL, og hva som gjelder for andre språk
  • Definisjon av dataprodukt — forslag (RFC) til felles definisjon, minstekrav og metadatamodell for dataprodukter i Digitaliseringsetaten

Plattformens komponenter

Det Dataspeilet setter opp og forvalter for hvert workspace.

  • Landing zone — bøttestruktur, sendere, autentisering, oppbevaring og filformater for innkommende data
  • SQL Warehouse — de tre warehousene i hvert workspace, tilkoblingsdetaljer, tilganger og begrensninger
  • Backup — hva som tas backup av, hvordan, og hva som ikke dekkes

Teamets kode og konfigurasjon

Det teamet selv definerer i egen kode.

  • Declarative Automation Bundles — mappestruktur, feltene i databricks.yml, targets og modes, compute og CLI-kommandoer
  • Varsling og alarmer — varslingskanaler, varsler på jobber og pipelines, SQL-alarmer og feltene som styrer dem
  • Datakvalitet — constraints, expectations og sjekkfunksjonene i DQX
  • Lagring og ytelse — Liquid Clustering, partisjonering, Z-ordering og vedlikehold av Delta-tabeller
  • SAM-deploy — mappestruktur, navnekrav, permission boundary, hemmeligheter og CI/CD for serverless-funksjoner

Fant du ikke det du leter etter?

Det som er generelt for Databricks, og ikke særegent for plattformen, står i Databricks sin egen dokumentasjon. Et utvalg er samlet i Databricks-opplæring. Får du ikke svar der heller, se Hjelp.