MLflow og modellregister¶

Denne siden dokumenterer det bundle-malen setter opp når du svarer yes på include_ml_workflow: ressurser, variabler, jobben, privilegier og begrensninger. For bakgrunn, se Maskinlæring på plattformen.

Oversikt¶

• Type: malvalg i Padda Asset Bundle Templates og bundle-ressurser
• Gjelder for: bundles generert med include_ml_workflow: yes
• Compute: serverless, miljøversjon 6
• Modellregister: Unity Catalog (databricks-uc)
• Rammeverk i eksempelet: PyTorch, logget med mlflow.pytorch

Malvalget include_ml_workflow¶

Filer som genereres:

Variabler¶

catalog fra hovedmalen brukes som katalog for alt.

Bundle-ressurser¶

Jobben refererer til skjema og modell via ressursnavn, ikke via variabler, slik at prefiksene i development-modus følger med:

schema: ${resources.schemas.example_ml_schema.name}
model-name: ${var.catalog}.${resources.schemas.example_ml_schema.name}.${resources.registered_models.example_ml_model.name}
experiment-id: ${resources.experiments.example_ml_experiment.id}

schemas¶

resources:
  schemas:
    example_ml_schema:
      name: ${var.ml_schema}
      catalog_name: ${var.catalog}
      grants:
        - principal: ${var.ml_consumer_group}
          privileges: [USE_SCHEMA, SELECT]

experiments¶

resources:
  experiments:
    example_ml_experiment:
      name: /Users/${workspace.current_user.userName}/${bundle.name}-ml-example

registered_models¶

resources:
  registered_models:
    example_ml_model:
      name: romledighet
      catalog_name: ${var.catalog}
      schema_name: ${resources.schemas.example_ml_schema.name}
      grants:
        - principal: ${var.ml_consumer_group}
          privileges: [EXECUTE]

Ressursen oppretter selve modellobjektet. Versjoner opprettes av treningsjobben via registered_model_name i mlflow.pytorch.log_model.

model_serving_endpoints¶

resources:
  model_serving_endpoints:
    example_ml_endpoint:
      name: romledighet
      config:
        served_entities:
          - entity_name: ${var.catalog}.${resources.schemas.example_ml_schema.name}.${resources.registered_models.example_ml_model.name}
            entity_version: ${var.ml_model_version}
            workload_size: Small
            scale_to_zero_enabled: true
      tags:
        - key: CostTeam
          value: padda
        - key: CostProcess
          value: Serve

Volumet er dokumentert under Unity Catalog Volumes.

Jobben example_ml_job¶

Miljøet:

environments:
  - environment_key: ml
    spec:
      environment_version: "6"
      dependencies:
        - "--no-index"
        - "--find-links /Volumes/${var.catalog}/${resources.schemas.example_ml_schema.name}/${resources.volumes.example_ml_wheels.name}"
        - ../dist/*.whl

Triggeren er en ukentlig periodic med pause_status: PAUSED. Tagger: CostTeam fra teamet og CostProcess: ML.

Tabeller¶

FEATURE_COLUMNS er, i rekkefølge: ukedag, time_num, etasje, kapasitet, har_video, booket_forrige_uke, andel_booket_siste_4_uker, og én kolonne bygg_<navn> per bygg.

Privilegier¶

Navn i development-modus¶

databricks bundle summary -t <target> viser de faktiske navnene.

Serverless-miljø¶

scripts/upload_ml_wheels.sh <target> <profil> laster ned hjulene med pip download for manylinux_2_28_x86_64 og cp312, og laster dem opp med databricks fs cp til /Volumes/<katalog>/<skjema>/wheels/.

Feil og advarsler¶

Library installation failed: ... Unable to find or download the required package¶

• Betydning: pip fikk ikke tak i en pakke.
• Når den oppstår: volumet er tomt eller mangler et hjul, eller jobbmiljøet peker på en pakkeindeks på internett.
• Merknad: kjør scripts/upload_ml_wheels.sh og sjekk at dependencies starter med --no-index. Feiler bare det første forsøket på den første tasken rett etter en deploy, mens Databricks' automatiske nye forsøk lykkes, er det ikke noe galt med oppsettet; mønsteret er observert flere ganger på plattformen.

Parent directory does not exist: /Users/<bruker>/<mappe>¶

• Betydning: eksperimentets foreldremappe finnes ikke.
• Når den oppstår: experiments.<navn>.name peker på en undermappe.
• Merknad: legg eksperimentet rett under brukermappen.

Invalid base environment ... Only custom base environments ... are currently supported¶

• Betydning: Jobs API-et godtar ikke Databricks-leverte basemiljøer.
• Når den oppstår: base_environment: workspace-base-environments/... i jobbmiljøet.
• Merknad: bruk environment_version og hjul fra volumet.

Function '<modell>' is not empty. The function has N model versions(s)¶

• Betydning: en registrert modell med versjoner kan ikke slettes.
• Når den oppstår: databricks bundle destroy, eller en deploy som må gjenskape modellen fordi ressursnøkkelen eller navnet er endret.
• Merknad: slett versjonene først med databricks model-versions delete <modell> <versjon>, og kjør kommandoen på nytt. Bundlen sletter aldri modellversjoner selv.

CLI-kommandoer¶

Begrensninger¶

• Stien dekker CPU på serverless. GPU og klassisk ML-runtime settes ikke opp av malen.
• Databricks-leverte basemiljøer kan ikke velges via base_environment i jobber ennå.
• Serving-endepunkter serverer et versjonsnummer, ikke et alias.
• Serverless-miljøet er Python 3.12 selv om prosjektet lokalt bruker en nyere versjon; hjul til volumet må lastes ned for 3.12.

Relatert innhold¶

• Maskinlæring på plattformen
• Trene og registrere en modell
• Kjøre batch-inferens med en registrert modell
• Publisere en modell som serving-endepunkt
• Declarative Automation Bundles (referanse)
• Navnekonvensjoner