Dieťaťu môže písať „kamarát“, no v skutočnosti je to predátor. Vedci z Technickej univerzity radia, ako sa chrániť pred groomingom

Na internete už deťom nehrozí len kyberšikana od rovesníkov. Čoraz vážnejším rizikom je grooming, teda situácia, keď dospelý útočník cielene buduje s dieťaťom dôveru, aby ho zmanipuloval, zneužil alebo dostal do nebezpečnej situácie. Vedci z Technickej univerzity v Košiciach upozorňujú, že s rozvojom umelej inteligencie sú falošné identity, upravené hlasy aj manipulatívna komunikácia čoraz presvedčivejšie – a práve preto treba deti aj rodičov učiť rozpoznávať varovné signály čo najskôr. Leták projektu zároveň upozorňuje aj na dôsledky nadmerného zdieľania osobných informácií, stratu súkromia či kybernetické hrozby.

Nebezpečenstvo v online svete často neprichádza ako otvorený útok, ale ako milá správa, pochvala, záujem či hlas, ktorý pôsobí dôveryhodne. Anonymní užívatelia dokonca zvyknú kúpiť dieťaťu aj darček do ich obľúbenej hry. Ten môže mať virtuálnu hodnotu aj desiatok eur a dieťa potom svojmu novému „kamarátovi“ o to viac verí.

Kým kyberšikana býva najčastejšie konfliktom medzi deťmi, grooming je oveľa závažnejší tým, že za ním stojí dospelý človek, ktorý si dieťa cielene získava, izoluje ho, pýta si osobné informácie a postupne posúva komunikáciu za hranicu bezpečia. Do toho vstupujú aj nové technológie: umelá inteligencia dnes dokáže meniť hlas, maskovať vek aj vytvárať presvedčivé falošné identity, no zároveň môže pomôcť podozrivú komunikáciu odhaliť. Odborníci preto zdôrazňujú, že najlepšou obranou nie je panika ani zákaz, ale otvorený záujem rodičov, väčšia ostražitosť detí a včasná prevencia, ktorá ich naučí, že na internete nie každý je tým, za koho sa vydáva.

Rodičia by mali vedieť, čo robia ich deti na internete

Na Katedre počítačových sietí Technickej univerzity v Košiciach vznikol Projekt včasnej detekcie falošných profilov. Výsledkom je aj praktický leták, ktorý prehľadne a zrozumiteľne komunikuje hrozby a riešenia groomingu. Viac nám prezradil docent Matúš Pleva.

Čo bolo hlavným impulzom pre vznik Projektu včasnej detekcie falošných profilov a aký problém sa snaží riešiť?

Hlavným impulzom bol profesor Patrick Bours z univerzity NTNU v meste Gjøvik, s ktorým sme už predtým spolupracovali na úlohe rozpoznávania používateľa na základe typického štýlu písania na klávesnici. Jeho výskum v oblasti bezpečnosti na internete prerástol do úspešnej firmy poskytujúcej inteligentné moderátorské rozhrania pre poskytovateľov detských aplikácií. V severských krajinách sú totiž veľmi populárne bezpečné detské hry, kde bezpečnosť detí zabezpečujú moderátori, ktorí sa snažia eliminovať nenávistnú, obťažujúcu či inak toxickú komunikáciu medzi účastníkmi týchto hier. V ďalšej fáze uvažovali aj o skorej detekcii dospelých v detských četoch na základe ich pisateľského štýlu – teda textov, ktoré píšu, ale úvaha bola aj o detekcii veku používateľov podľa hlasu, ak by sa hlasová komunikácia povolila v danej aplikácii. 

Keď hovoríme o ohrození detí na internete, ktoré riziká dnes považujete za najvážnejšie – grooming, kyberšikanu alebo niečo iné?

Pri našom výskume aj prednáškach, ktoré sme absolvovali na školách, sme zdôrazňovali, že hlavným rozdielom medzi kyberšikanou a groomingom je, že pri kyberšikane na školách ide v princípe o nezdravý vzťah dvoch detí – rovesníkov, pričom pri groomingu ide o dospelého útočníka ohrozujúceho dieťa. Dieťa je v tomto prípade vždy obeťou, čo je mimoriadne dôležité zdôrazňovať, aby dieťa pri akomkoľvek podozrení kontaktovalo niekoho dospelého, ktorému dôveruje a nemalo pocity viny, aj keď ku kontaktu došlo tým, že porušilo nejaké rodičovské pravidlá.

Čiže grooming môže mať pre dieťa vážnejšie dôsledky než nepríjemná online komunikácia medzi rovesníkmi?

REKLAMA

Kyberšikana je všeobecne rozšírenejšia, ale následky groomingu bývajú oveľa závažnejšie aj najnebezpečnejšie, lebo môže prerásť do reálneho fyzického ohrozenia alebo sexuálneho zneužívania. Sú prípady, keď po odhalení útočníka bolo políciou zistené, že mal vyše tisíc aktívnych komunikácií s potenciálnymi obeťami – deťmi.

Do akej miery dnes komplikujú situáciu nástroje umelej inteligencie, ktoré dokážu meniť hlas alebo vytvárať dôveryhodnú falošnú identitu?

Moderné AI nástroje samozrejme situáciu mimoriadne komplikujú. Agentové systémy vám môžu nechtiac pomáhať zakrývať útočníka. Treba si uvedomiť, že riziko môže rásť možno aj exponenciálne. Na druhej strane by nám AI mala vedieť aj pomôcť pri odhaľovaní falošných identít. V oblasti bezpečnosti ide vždy o súboj táborov, ktorí nejaké prostredie chcú zneužiť pre vlastný prospech a vývojárov, výskumníkov, verejných či súkromných inštitúcií, ktoré sa snažia prostredie vylepšovať, aby bolo voči zneužitiu odolné. Všetko úsilie však vyžaduje čas a peniaze. Každý, kto na tom pracuje potrebuje aj uživiť seba či rodinu a aj v rámci výskumu sa musíme venovať hlavne témam, na ktoré sme momentálne získali financovanie. 

Vyvíjate technológiu, ktorá vie z hlasu rozpoznať, že v detskom hlasovom čete môže vystupovať „zamaskovaný” dospelý človek. Povedzte nám viac o tom, ako to funguje.

V rámci projektu FakeDetect sme pracovali na nástrojoch, ktoré boli schopné s určitou presnosťou detekovať podozrenie, že ide o umelo pozmenený, či kompletne syntetizovaný hlas. Projekt skončil v lete 2024, keď ešte AI nástroje neboli schopné v reálnom čase generovať dôveryhodné syntetizované hlasy ani ich detekovať. V tej dobe sme používali rôzne modely neurónových sietí, ktoré ale potrebovali byť pravidelne pretrénované aktuálnymi dátami, aby mohli byť v praxi použiteľné.

Čo sa deje v momente, keď systém vyhodnotí podozrivú komunikáciu – komu odošle upozornenie a ako by mal moderátor alebo platforma reagovať?

Cieľovou aplikáciou bolo upozornenie pre moderátora komunikácie detí v rámci hry, takže v konečnom dôsledku mala byť na konci dospelá osoba, ktorá vyhodnotí mieru rizika a užívateľa z četu odpojí. Uvažovalo sa aj o nejakej signalizácii pre deti, že daná osoba je považovaná za menej dôveryhodnú ešte skôr, ako keby stihol moderátor zasiahnuť, aby systém vzbudil v dieťati pochybnosť a zvýšil jeho ostražitosť.

Deti by asi mali byť v prvom rade informované rodičmi a školou aj o týchto negatívnych javoch v online priestore.

Áno, rád by som zdôraznil, že v tejto oblasti je dôležitá osveta medzi deťmi. Celý projekt bol venovaný bezpečným moderovaným detským aplikáciám. Na Slovensku však nepoznáme podobné aplikácie, ktoré by boli masovo populárne medzi deťmi, pretože deti sa ľahko dostanú aj k hrám a aplikáciám, ktoré sú oficiálne určené pre vyššie vekové kategórie. Momentálne je iniciatíva z Európskeho parlamentu, ktorá má zaviesť povinnosť nejakej spoľahlivej kontroly veku pre aplikácie nevhodné pre deti. Ale to je len prvý krok, pričom jednak deti sa budú snažiť kontroly obísť a bez podpory rodičov v oblasti prevencie táto kontrola nepomôže.

Až keď budú hry, kde je voľne dostupné četovanie či hlasová komunikácia bez moderátora, pre deti nedostupné, môžu začať hľadať medzi aplikáciami určenými pre deti. Treba však povedať, že nejde pre prevádzkovateľa o jednoduchý cieľ, jednak deti zaujať, získať popularitu a financovať ľudských moderátorov, ktorí budú schopní toto prostredie ustrážiť ako bezpečné. Keď však budú systémy detekcie lacnejšie a dostupnejšie, mohli by byť dostupné aj v bežných vekovo neobmedzených aplikáciách, kde by používateľa informovali o podozrení na nepravdivé údaje o veku v profile či na nevhodný či inak toxický obsah, ktorý by mohol byť špecificky označený.

Na Technickej univerzite v Košiciach vzniká aj aplikácia, ktorá má deťom vysvetľovať bezpečnú a nebezpečnú online komunikáciu. Ako funguje a čo sa cez ňu majú deti naučiť?

Keďže išlo len o ročný prevažne mobilitný projekt, v rámci neho sme spolu so študentmi vytvorili niekoľko prototypov detektorov, ktoré neboli integrované do finálnej aplikácie. Vytvoril sa však veľmi užitočný materiál pre školy, deti a rodičov, ktorý stručne a jednoducho informuje o rizikách a kontaktoch, na ktoré sa môže obrátiť s prosbou o pomoc. 

Letáky, ktoré sú tam zverejnené v slovenčine, angličtine a nórčine, sú voľne použiteľné a distribuovateľné. Budeme vďační, ak sa dozvieme, že sa používajú. Nie je potrebný nijaký náš súhlas s ich použitím. Následne sme vytvorili aj modernejšiu webstránku s informáciami o webaplikáciách vytvorených počas záverečných prác našich študentov, ktorá je momentálne na dočasnom mieste, ale plánujeme linku na hostovanie po skončení štúdia našich diplomantov zverejniť na webe projektu, kde sú aj letáky.

Ak by ste mali rodičom aj deťom odkázať jednu najdôležitejšiu vec o bezpečnosti v online priestore, čo by to bolo?

Rád by som rodičom odkázal, že vnímam ako dôležité, aby vedeli, čo ich deti robia na internete. Aké aplikácie používajú, aké hry hrajú, a mali by poznať ich pôvodné vekové obmedzenia. S tým sa totiž spájajú nejaké riziká, napríklad možnosť priamej komunikácie s cudzími ľuďmi. V prvom rade sa s nimi o tom otvorene rozprávať, so záujmom, nie s cieľom im to zakázať, pretože potom budú mať snahu to utajiť, ale pokúsiť sa komunikovať s láskou, prijatím a záujmom. Deti ocenia, ak ste aj ochotní si s nimi ich obľúbenú hru zahrať, alebo aspoň byť pasívny účastník, ktorý sa pozrie, ako im to dobre ide.

Ja som sám otcom troch detí, a ako prvé som im stále zdôrazňoval, že nesmú nikomu dôverovať na internete, koho osobne nikdy nestretli. Nesmú dôverovať informácií o veku, záujmom ani ich pochvalám. Vždy som ich viedol k tomu, aby mali dôverných priateľov hlavne medzi ľuďmi, s ktorými sa vedia stretnúť pravidelne v reálnom svete. Snažím sa im dôverovať a potom sa už iba modlím, aby to vyšlo. Nepovažujem nič v tomto svete za dokonalé, čo by nás od zlého dokázalo ochrániť. Určitá miera rizika zostáva. Ako hovorí klasik, život škodí zdraviu. Čím viac viem, tým viac poznávam, čo všetko ešte neviem a život je jeden z najnebezpečnejších. 🙂

Matúš Pleva, docent na Katedre počítačových sietí Technickej univerzity v Košiciach, momentálne pracuje so svojím tímom aj na spoločnom edukačnom projekte MetaCog o rozšírení povedomia o možnosti využitia AI na detekciu dezinformácií. Je určený na rozšírenie vzdelávania v tejto oblasti na vysokých školách. Viac sa o ňom dozviete TU.