Data & MoreEngineeringDeep dive 05

Fra et fund til en slet beslutning.

Klassificering er det, der omdanner et profileret dokument til en handling. En profiler udsender fund, tags markerer og forfiner dem, dokumentklasser løfter dem til dokumentniveau, og politikker afleverer resultatet til en forvalter, der validerer det og beslutter, om dokumentet bevares, omklassificeres eller slettes. Dette er, hvordan disse lag passer sammen, og hvordan Elasticsearch-indekserne bag dem er struktureret.

Detektion finder det. Mennesker beslutter, hvad der sker med det.

1351detektionsalgoritmer
2320tags pr. lejer
45dokumentklasser pr. lejer
59politikker pr. lejer
Afsnit 01Oversigt

Fem lag, nedefra og op

Klassificering er en lagdelt forfining. Hvert lag er en gemt forespørgsel, der læser, hvad laget nedenfor har skrevet på dokumentet, og derefter skriver sin egen markør. Kæden løber fra maskinbaseret detektion op til en menneskelig compliancebeslutning. Den ender ikke ved en Microsoft Purview-etiket: den ender ved en politik, hvor en forvalter validerer klassificeringen og beslutter opbevaring eller sletning. MIP-mærkning er én valgfri håndhævelseshandling – intet mere.

DETEKTER MARKÉR KLASSIFICÉR ADMINISTRÉR VALIDÉR Posttyper profileringsfund DS_EntryType_List Tags markører på værdiniveau DS_Tags Dokumentklasser på dokumentniveau DS_DocumentClass Politik formål + opbevaring notification_settings scheduled_delete Forvalter validerer klassificering bevar / SLET et tag kan udsende en videnposttype if mip_enabled MIP / Purview-etiket DS_Status = DELETED
Primær datastrøm Betinget / tilbagemelding Resultat / håndhævet tilstand Skrevet payload

Den detektion, der producerer posttyper – profileren, der kører sine algoritmer – er dækket i AI Profiler. Denne manual starter, hvor fundene lander.

Afsnit 02Lagene

Hvad hvert lag gør

Lag 01

Posttyper

De detektionsfund, der er skrevet af profileren: FULL_NAME, STREET_ADDRESS, S_LOC, og vidensfamilien S_K_*. Hver bærer pii, sensitivity og en farve. De vises som DS_EntryType_List.

indeks entry_types · ~715 · dynamic:false
Lag 02

Tags

Gemte forespørgsler, primært over DS_Value. De stempler DS_Tags, kan udsende S_K_* posttyper og kan mutere fund via flag:remove_labels, remove_values, rename_data, set_status, sticky.

indeks tags · ~2320 · dynamic:false
Lag 03

Dokumentklasser

Gemte forespørgsler over DS_EntryType_List eller DS_Tags. De besvarer "hvilken type dokument er dette?" og stempler DS_DocumentClass. Samme motor som tags, forskelligt input- og outputfelt.

indeks document_classes · 45/lejer · dynamic:true
Lag 04

Politikker

Gruppér klassificerede dokumenter til et compliance-formål. Ejer custodian-rapporten (notification_settings: fanen for fejlklassificerede, sletningskontrol, cyklus) og opbevaring (scheduled_delete, days_to_delete, duration). Valgfrie kanaler: MIP, Gmail, GDrive.

indeks policies · ~59/lejer · dynamic:true
Tags og klasser er den samme motor på to niveauer. Begge er gemte forespørgsler, der stempler et ID på et dokument. De adskiller sig kun i, hvad de læser (tags læser værdier, klasser læser posttyper eller tags), og hvad de skriver (DS_Tags versus DS_DocumentClass). Derfor deler de kategorimodellen, oversættelsesindekset og tagging-opgavekoden.
Afsnit 03Gennemarbejdet sporing

"Religious Orientation", fra ende til ende

En reel sporing fra én lejer. Den viser en klasse, der nøgler på tags, ikke posttyper direkte, og når frem til den samme klassificering via to uafhængige ruter: én drevet af en detekteret posttype, én af bogstavelige tyske dokumentsætninger.

BEVIS TAGS KLASSE STYR RELIGIOUS_ORIENTATION + FULL_NAME, ikke udelukket pii 2 · følsomhed 4 · 3914 nøgleord DS_Value ~ "Kirchenaustritt" bogstavelige tyske sætninger jokertegn-match, ingen posttype UN Religious Orientation veUeLZwBiRR6rBsVr02n posttype-rute GER church resignation1 FOUeLZwBiRR6rBsVs07W nøgleords-rute Religious Orientation kat: Fortrolighedsklassificering forespørgsel: DS_Tags (A ELLER B) Fortrolighedspolitik custodian-rapport valider derefter SLET
Matchsti Til governance Gemt forespørgselsobjekt

Klassens forespørgsel er to OR-forbundne blokke, hver med ét enkelt DS_Tags-udtryk. Et dokument, der bærer ét af disse tags, klassificeres, og klasse-ID'et skrives til DS_DocumentClass. Derfra samler en fortrolighedspolitik dokumenterne, en custodian gennemgår dem, afviser falske positive på fanen Fejlklassificerede, og politikkens opbevaringsvindue styrer sletning. Broen er konkret: tag-output (DS_Tags) er klassens input.

Klassens forespørgsel

DS_Tags = veU... (UN Religious)
ELLER
DS_Tags = FOU... (GER church)

Afsnit 04Indeksmodel

Hvordan indekserne er struktureret

Ethvert klassificeringsindeks deler en multilejer- og abonnementsoprindelseskonvolut og tilføjer derefter sine egne felter. Alle lejere befinder sig i ét indeks, adskilt af company_id; alle rækker er abonnementsbaserede fra en delt grundlinje.

IndeksAntal / lejerDynamiskSærlige felter
entry_types~715falsename_normalized, method, keywords, redacted, pii, sensitivity, color
tags~2320falsequery, category_id, remove_labels/values/text, set_status, sticky, report_tag
document_classes45truequery, category_id, tag_document_class, corrective_actions
policies~59truequery, enforcement_*, scheduled_delete, days_to_delete, duration, notification_settings, mip_enabled
tag_category~200truename, active, profile_tag, show_in_treeview
document_class_category~21truename, active, show_in_dashboard
tag_names~3625truetag_id, type (tag|class), translated_field, ~40 lang columns
mip_label~30falselabel_id, name, level, tenant, color

Fælles konvolut

  • company_id lejer-nøglen (keyword)
  • query den gemte matchende forespørgsel (object)
  • status aktiv til/fra (kategorier bruger active)
  • rækkefølge, risk, personal, profiled, total
  • duration / duration_start / duration_end
  • oprindelse: defined_from_subscriptions, subscription_source, original_subscription_id

Kategori og oversættelse

Tags og klasser organiseres og lokaliseres via parallelle sideindeks.

Tag-grupperingtag_category
Klasse-grupperingdocument_class_category
Lokaliseringtag_names (type tag|class)

tag_names er et enkelt i18n-indeks for begge: cirka 2560 rækker type:tag og 430 rækker type:class pr. lejer.

Afsnit 05Forespørgselsgrammatik

Én grammatik for tags, klasser og policies

Denquery objekt har samme form overalt: én eller flere blokke, som hver indeholder et array af filtre. Blokke OR-kombineres; filtre inden for en blok AND-kombineres. Denne enkle grammatik er årsagen til, at én matchingmaskine kan drive alle tre forespørgselslag.

filterstruktur

{
"field": "DS_EntryType_List",
"type": "terms" | "wildcard",
"compare": "equal" | "not_equal",
"values": ["STREET_ADDRESS", ...]
}

  • field dokumentfeltet der skal læses: DS_Value, DS_EntryType_List, DS_Tags, DS_KnownPersons.
  • type terms for et præcist sæt, wildcard for mønstre.
  • compare equal eller not_equal (eksklusionsvagten i sporet anvendte not_equal).
  • Flere blokke OR-kombineres; flere filtre AND-kombineres. Det er den samlede logik.
I én linje

Klassificering afsluttes ved en person, ikke en etiket.

Registrering fodrer tags, tags fodrer klasser, klasser fodrer politikker, og politikker placerer resultatet foran en dataansvarlig, der validerer det og beslutter at bevare, omklassificere eller slette. MIP-mærkning er et valgfrit output, aldrig destinationen. Hvert lag er multi-tenant pr. company_id, abonnementsinitiert og bygget på én grammatik for lagrede forespørgsler med fælles kategori- og oversættelseslag.

support.dataandmore.com/en/knowledge/deep-dive/classification