Voer een pipeline uit

Een Data Studio-project kan een pipeline uitvoeren — een geordende set verwerkingsstappen die over zijn lagen worden toegepast om een resultaat te produceren. De pipeline verandert de datasets die je hebt toegevoegd in de dataset die je wilt.

Hoe pipelines zijn gedefinieerd

De pipeline maakt deel uit van de configuratie van de werkruimte van het project, ingesteld via PUT .../projects/:projectId. Het heeft drie delen:

• layers — de datasets die in de werkruimte zijn gebracht (zie Voeg een laag toe).
• transformers — de geordende verwerkingsstappen.
• output — hoe het resultaat wordt gevormd (zie Exporteer output).

Elke transformer heeft een id, een type, een order en een config waarvan de vorm afhangt van het type. Transformer-types omvatten geografische intersectie, deduplicatie, veldmapping, samenvoegen, attribuut- en radiusfiltering, sorteren/beperken, clustering en controles op datakwaliteit.

Voorbeeld

Configureer een tweestaps pipeline: filter op een attribuut, en deduplicate op basis van nabijheid. Stappen worden uitgevoerd in order:

curl -X PUT \
  -H "Authorization: Bearer eyJhbGci..." \
  -H "Content-Type: application/json" \
  -d '{
    "pipeline": {
      "version": 1,
      "layers": [
        { "id": "layer-hotels", "name": "Hotels (NL)", "datasetIds": ["nl-hotels-poi"], "color": "#2563eb", "visible": true, "filters": {} }
      ],
      "transformers": [
        {
          "id": "step-filter",
          "type": "attribute_filter",
          "order": 1,
          "config": { "conditions": [ { "field": "stars", "operator": "in", "value": ["4", "5"] } ], "logic": "and" }
        },
        {
          "id": "step-dedupe",
          "type": "deduplicate",
          "order": 2,
          "config": { "strategy": "proximity", "proximityMeters": 50, "keepStrategy": "most_complete" }
        }
      ],
      "output": { "format": "geojson", "includeCoordinates": true, "fields": { "mappings": [] } }
    }
  }' \
  "https://api.topolab.nl/v1/organization/8f0c2e1a-4b6d-4c2a-9e3f-1a2b3c4d5e6f/data-studio/projects/c1d2e3f4-a5b6-4c7d-8e9f-0a1b2c3d4e5f"

De reactie is het bijgewerkte project met de opgeslagen pipeline.

Voorbeeld (droge run)

Een voorbeeld draait de pipeline zonder een opgeslagen resultaat te materialiseren — nuttig om de output te controleren voordat je gaat rekenen:

curl -X POST \
  -H "Authorization: Bearer eyJhbGci..." \
  "https://api.topolab.nl/v1/organization/{organizationId}/data-studio/projects/{projectId}/preview"

Uitvoeren

Uitvoeren draait de transformers in order over de lagen en materialiseert een output-dataset gevormd door output:

curl -X POST \
  -H "Authorization: Bearer eyJhbGci..." \
  "https://api.topolab.nl/v1/organization/{organizationId}/data-studio/projects/{projectId}/execute"

De reactie identificeert het gegenereerde resultaat; haal het op via Exporteer output. Uitvoering is rekenintensief, dus het is geblokkeerd achter de DATA_STUDIO_EXECUTE toestemming en strenger beperkt in snelheid — zie Snelheidslimieten & credits.

Authenticatie

Een Bearer JWT (zie Authenticatie), lidmaatschap van de organisatie, de data-studio add-on, en DATA_STUDIO_CREATE om de pipeline te bewerken / DATA_STUDIO_EXECUTE om deze uit te voeren.

Volgende

• Exporteer output — vorm en haal het resultaat op.
• Voeg een laag toe — de invoer waarop een pipeline draait.
• Wil je Data Studio inschakelen? Neem contact met ons op.