Bayesi võrk — probabilistlik suunatud tsüklitevaba graaf järelduste tegemiseks

Bayesi võrk on suunatud tsüklitevaba graaf, mida kasutatakse sündmuste ja varjatud protsesside modelleerimiseks ja neist järelduste tegemiseks. Graafi sõlmed kujutavad juhuslikke muutujaid ja suunatud servad näitavad tingimuslikke sõltuvusi kahe muutuja vahel. Kui kaks sõlme on ühendatud servaga, tähistab see, et ühe sõlme olek mõjutab teise sõlme tinglikku jaotust — seda tähistatakse tavaliselt tingimuslike jaotustega (nt tingimuslikud tõenäosustabelid). Bayesi võrk on suunatud acükliline graaf (DAG), st selles ei esine tsükleid.

Formaalne kirjeldus

Olgu X1, X2, …, Xn võrgus olevad juhuslikud muutujad ja Pa(Xi) muutujate hulk, millelt Xi otseselt sõltub (sõlme vanemad). Siis saab võrgu poolt määratud ühistõenäosuse faktoreerida järgmiselt:

P(X1, …, Xn) = ∏_i=1..n P(Xi | Pa(Xi))

See faktorisatsioon põhineb võrgus olevatel tingimuslikel sõltuvustel ja teeb Bayesi võrku efektiivseks vahendiks keerukate jaotuste modelleerimiseks ilma kogu ühistõenäosustabelit eksponentsiaalselt salvestamata.

Komponendid ja esitus

• Sõlmed – juhuslikud muutujad (diskreetsed või pidevad).
• Servad – suunatud servad näitavad otsest tingimuslikku sõltuvust (mõjutust) vanemalt lapsesõlmele.
• Tingimuslikud jaotused – iga sõlme jaoks on määratud P(Xi | Pa(Xi)), mis võib olla tabel (CPT), parameetriline mudel (nt Gauss), või regressioonifunktsioon.

Peamised omadused ja mõisted

• Markovi vaip (Markov blanket) – antud sõlme tingimuslikult sõltumatud sõlmed on selle vanemad, lapsed ja laste muud vanemad; Markovi vaip määrab, milliste muudetega sõlme väärtus sõltub.
• d-separatsioon – graafipõhine reegel, mis võimaldab otsustada, millised muutujad on tingimuslikult sõltumatud, ilma et peaks arvutama tõenäosusi.
• Põhineb Bayesi teoreemil – Bayesi võrgud kasutavad tingimuslikke tõenäosusi ja Bayesi teoreemi aluseid järelduste tegemiseks, eriti kui on olemas vaatlusi või teadmised ühest muutuja väärtusest.
• Põhjendus vs. kausaalsus – servad näitavad statistilist mõjutust, kuid graafi saab ka konstrueerida kausaalse tõlgendusega, kui mudeli ehitamisel kasutatakse ekspertiisi või eksperimentaalseid andmeid.

Põhilised ülesanded

• Järeldamine (inference) – antud osaliste vaatluste põhjal arvutada tingimuslikke tõenäosusi teiste muutuja kohta; meetodid hõlmavad täielikku algoritmide kogumit nagu muutujate elimineerimine, junction tree, ning ligikaudseid meetodeid (Monte Carlo, Gibbs sampling, loopy belief propagation).
• Parameetrite õppimine – kui struktuur on teada, saab õppida tingimuslikke jaotusi (näiteks maksimaalse usutavuse või Bayesi lähenemise teel) antud andmetest.
• Struktuuri õppimine – kui andmetest ei ole ette antud graafi, püütakse leida kõige tõenäolisem või kõige informatiivsem graaf, mis seletab andmeid; see on arvutuslikult keeruline ja nõuab heuristikat või regulaarimist.

Arvutuslikud meetodid järeldusteks

• Täpsed meetodid – muutujate elimineerimine, andmestruktuuride (junction tree) moodustamine; sobivad väiksematele või madalakujuliste võrkudele.
• Ligikaudsed meetodid – Monte Carlo simulatsioonid (nt Gibbs sampling), importance sampling, variatsioonimeetodid ja loopy belief propagation; kasutatakse suuremates võrkudes või siis, kui täpsed meetodid on liigselt kallid.

Rakendused

Bayesi võrke kasutatakse laialdaselt masinõppes ja otsustusmudelites. Näited rakendustest:

• Meditsiiniline diagnoos – haiguste ja sümptomite modelleerimine ning tõenäosuste hindamine.
• Piltide ja kõnetuvastus – omaduste ja klasside tingimuslik modelleerimine.
• Dokumentide klassifikatsioon ja teabe otsimine (teabe otsimise süsteemid) – sõna- ja teemamudelite ühendamine.
• Sensorivõrgud ja robotiika – mõõtmiste kombineerimine, vigade ja puuduvate andmete käsitlemine.
• Bioinformaatika – geenide ja regulatsioonivõrkude modelleerimine.

Eelised ja piirangud

• Eelised: selge graafiline esitus, modulaarne ülesehitus, hea käsitlus puuduvate andmete ja latent-muutujatega, võimalus kombineerida ekspertteadmisi ja andmepõhist õppimist.
• Piirangud: nõuab õigeid tingimuslikke sõltuvusi (valed eeldused annavad eksitavad järeldused), suurte või tihedate võrkude puhul võib järeldamine olla arvutuslikult raske, struktuuri õppimine on sageli keeruline ja võib vajada palju andmeid.

Lühike näide

Kujutame lihtsat mudelit, kus Haigus mõjutab sümptomeid Palavik ja Köha. Võrgu faktoreerumine näeb välja nii:

P(Haigus, Palavik, Köha) = P(Haigus) · P(Palavik | Haigus) · P(Köha | Haigus)

Selle mudeli abil saab näiteks arvutada haiguse tõenäosuse antud sümptomite olemasolul kasutades Bayesi teoreemi ja võrgust tulenevaid tingimuslikke jaotusi.

Bayesi võrkudel on seega tugev teoreetiline alus ja praktiline rakendatavus mitmes valdkonnas. Nad pakuvad jõulist viisi keerukate sõltuvuste ja teadmiste struktuuri esindamiseks ning tingimuslike järelduste tegemiseks.