Mis on masinõpe? Definitsioon, meetodid ja rakendused

Masinõpe: selge definitsioon, praktilised meetodid ja reaalsed rakendused — õpi, kuidas algoritmid õpivad, ennustavad ning muudavad äri ja igapäevaseid teenuseid.

Masinõpe annab arvutitele võime õppida ilma selgesõnalise programmeerimiseta (Arthur Samuel, 1959). See on arvutiteaduse alamvaldkond.

Idee pärineb tehisintellekti alasest tööst. Masinõpe uurib selliste algoritmide uurimist ja ehitamist, mis suudavad õppida ja teha andmete põhjal prognoose. Sellised algoritmid järgivad programmeeritud juhiseid, kuid võivad ka andmete põhjal teha prognoose või otsuseid. Nad ehitavad mudeli näidissisendite põhjal.

Masinõpet tehakse seal, kus selgesõnaliste algoritmide kavandamine ja programmeerimine ei ole võimalik. Näidetena võib tuua rämpsposti filtreerimise, võrku sissetungijate või pahatahtlike siseringi kasutajate tuvastamise, optilise tähemärgituvastuse (OCR), otsingumootorid ja arvutinägemise.

Mida masinõpe täpsemalt tähendab?

Masinõpe tähendab meetodite kogumit, mille abil arvutisüsteemid parendavad oma sooritust konkreetsetel ülesannetel, kasutades selleks ajaloolisi andmeid ja statistilisi seaduspärasid. Selle asemel, et kõike koodi sisse kirjutada, loob süsteem ise mudeli, mis oskab uusi andmeid töödelda ja teha otsuseid või prognoose.

Peamised lähenemised ja meetodid

• Juhendatud õpe (supervised learning) — mudel õpib sisendite (näidete) ja vastavate siltide (klasside või väärtuste) põhjal. Kasutatakse nt klassifitseerimiseks (rämpsposti tuvastus) ja regressiooniks (hinnaprognoosid).
• Juhendamata õpe (unsupervised learning) — andmed ei sisalda märke; algoritmid otsivad mustreid, rühmitusi või madalama dimensiooni esitusviise (näiteks klasterdamine, peamiste komponentide analüüs).
• Pooljuhendatud õpe (semi-supervised) — kombineerib väikese hulga märgistatud ja suure hulga märgistamata andmeid, kasulik siis, kui märgistamine on kallis.
• Tugevdusõpe (reinforcement learning) — agent õpib läbi katse-eksituse, saades preemiaid või karistusi; laialdaselt kasutusel mängudes, robootikas ja autonoomsetes süsteemides.
• Sügavõpe (deep learning) — närvivõrkudel põhinev meetodite kogum, mis sobib eriti hästi pilditöötluseks, kõnetuvastuseks ja keerukate mustrite äratundmiseks väga suurel andmehulgale.

Levinud algoritmid ja tehnikad

Tuntud algoritmide näideteks on logistiline regressioon, otsustuspuud, juhuslikud metsad (random forests), toetavektor-masinad (SVM), k- lähimaid naabreid (k-NN), k-means klasterdamine ning erinevad tüübid närvivõrke (sh konvolutsioonilised ja rekurrentvõrgud). Valik sõltub ülesandest, andmete suurusest ja nõutavast interpretatsioonist.

Masinõppe töövoog (ülevaade)

• Andmete kogumine — sobiva ja piisavahulga andmestiku hankimine.
• Eeltöötlus — puhastamine, puuduvate väärtuste käsitlemine, tunnuste skaleerimine, kodeerimine.
• Tunnuste valik ja konstrueerimine — informatiivsete tunnuste leidmine või loomine.
• Mudeli õppimine — algoritmi treenimine treeningandmete peal.
• Hindamine — mudeli valideerimine teistel andmetel (ristvalideerimine, eraldi testkomplekt) ja sobivate mõõdikute (täpsus, täpsus/ärakivõtmine, F1, RMSE jms) kasutamine.
• Parandamine — hüperparameetrite häälestus, mudeli keerukuse reguleerimine, üleõppimise vältimine.
• Deploy ja jälgimine — mudeli rakendamine tootmiskeskkonnas ja jõudluse jälgimine reaalsete andmete korral.

Rakendused

Masinõpe leiab rakendust väga paljudes valdkondades, sh:

• Meditsiin: haiguste diagnoos, meditsiinipildistamine, ravimite avastamine.
• Äri: kliendikäitumise analüüs, soovitussüsteemid (nt meedia- ja e-poed), riskihindamine ja pettuste avastamine.
• Transport: autonoomsed sõidukid, marsruutide optimeerimine.
• Keelenõustamine: masintõlge, kõnetuvastus, tekstianalüüs ja sentimenti tuvastus.
• Tootmine ja robootika: ennustav hooldus ja kvaliteedikontroll.
• Turvalisus: sissetungi tuvastus, biomeetriline autentimine.

Väljakutsed ja eetika

Masinõppel on mitmeid piiranguid ja riske, mida tuleb arvestada:

• Andmeeelarvustatus ja kallutatus (bias) — mudelid võivad peegeldada või võimendada koolitatud andmete eelarvamusi.
• Üleõppimine (overfitting) — mudel õpib treeningandmete müra ja ei üldista uusi juhtumeid.
• Selgitatavus ja usaldusväärsus — keerukad mudelid, eriti sügavad närvivõrgud, on tihti "must kast" ja võivad olla raskesti seletatavad.
• Privaatsus ja turvalisus — isikuandmete kaitse ning mudelite vastupidavus rünnakutele (näiteks adversariaalsed näited).

Kuidas alustada?

Algajatele soovitatakse alustada põhitõdedest: statistikast, lineaaralgebrast ja tõenäosusteooriast, seejärel õppida populaarseid masinõppe raamistikke (nt scikit-learn, TensorFlow, PyTorch). Praktilised projektid — nagu lihtne klassifikaator või soovitussüsteem — annavad kiire ülevaate töövoost ning aitavad mõista nii andmete kui mudelite piiranguid.

Kokkuvõtteks: masinõpe on võimas tööriist, mis muudab suuri andmehulkasid mõistetavaks ja kasutatavaks eri valdkondades. Edu sõltub aga nii heast andmest kui ka läbimõeldud meetodite ja eetiliste kaalutluste rakendamisest.

Küsimused ja vastused

K: Mis on masinavärk?

K: Kust tuli masinõppe idee?

K: Kuidas töötavad masinõppes kasutatavad algoritmid?

K: Millal kasutatakse masinõpet?

K: Millised on masinõppe kasutamisega seotud riskid?

K: Mida tähendab see, et masinõppe mudel on "must kast"?

K: Millised on mõned näited masinõppe rakendustest?

Otsing