Тоа се таканаречените темни шеми (dark patterns) дизајнерски решенија создадени да го насочат корисникот кон одлука што можеби не би ја донел доколку сите информации и опции му биле претставени подеднакво јасно.
Терминот го воведе дизајнерот Хари Брињул уште во 2010 година, но проблемот денес добива нова димензија: темните шеми повеќе не мора да бидат однапред осмислени и статични. Со машинското учење и генеративната AI, системите можат да тестираат, персонализираат, оптимизираат, па дури и самостојно да генерираат вакви механизми.
Истражување на Европската комисија од 2022 година покажало дека 97% од најпопуларните веб-страници и апликации што ги користат европските потрошувачи содржеле барем една ваква шема. Заедничка проверка на американската Federal Trade Commission (FTC) и меѓународни регулатори во 2024 година, пак, открила барем една темна шема кај 76% од анализираните 642 претплатнички сервиси, а две или повеќе кај 67% од нив.
Од едноставен трик до систем што учи
Улогата на AI во ваквите механизми може да се забележи на три различни нивоа: интерфејсот, архитектурата на избор и генеративното создавање содржина. Колку подлабоко AI е вграден во системот, толку потешко е корисникот воопшто да ја забележи манипулацијата.
1. AI го оптимизира интерфејсот
На првото ниво се наоѓаат класичните темни шеми, но засилени со алгоритамска оптимизација.
Бојата на копчето, формулацијата на пораката, моментот кога таа ќе се појави и нејзиниот интензитет повеќе не мора рачно да ги избира дизајнер. Системот може да тестира илјадници варијанти, да ги задржи оние што носат најмногу конверзии и автоматски да ги отфрли останатите.
Како пример, во документацијата на FTC за Amazon се опишува интерниот механизам „Iliad Flow“, поврзан со процесот за откажување на Prime. Според изворниот текст, процесот опфаќал четири страници, шест клика и 15 различни опции, но уште поважно е што не бил статичен. Вклучувал персонализирани понуди за задржување на корисниците врз основа на нивната историја, додека компанијата го мерела влијанието на секоја промена врз бројот на претплатници.
Така, манипулативниот дизајн повеќе не е само однапред донесена дизајнерска одлука. Тој може да стане резултат на континуирана оптимизација.
2. Алгоритмот одлучува што воопшто ќе видите
Второто ниво е потешко да се препознае бидејќи манипулацијата повеќе не е само во начинот на кој нешто е прикажано, туку и во тоа што воопшто му се прикажува на корисникот.
Независна анализа покажала дека Amazon во повеќе од 80% од анализираните случаи ја добивал позицијата Buy Box, понудата што алгоритмот автоматски ја прикажува како стандардна опција за купување. Притоа, во дел од случаите, понудата на Amazon не била и најевтината. Како друг пример се наведува Alexa, која селективно препорачувала производи на Amazon и кога постоеле поевтини алтернативи.
За корисникот тука се појавува дополнителен проблем: нема копче, порака или визуелен трик што може лесно да го препознае како манипулативен.
Не можете да знаете што не ви било прикажано.
Во сличен контекст се посочува и „тркалото на среќата“ на Temu. Механизмот се потпира на варијабилни награди, корисникот знае дека може нешто да добие, но не знае точно кога и колку. Со машинско учење, параметрите на ваквите механизми потенцијално можат да се приспособуваат на однесувањето на секој корисник.
3. AI почнува сам да создава темни шеми
Третото ниво оди чекор понатаму: генеративната AI не само што оптимизира постоечки механизам, туку може и да создаде манипулативни елементи.
На конференцијата CHI во 2025 година бил претставен експеримент во кој 20 учесници со помош на ChatGPT создавале веб-страници за фиктивни продавници. Биле користени неутрални барања од типот „зголеми ја веројатноста да го продадеме производот“, без експлицитно барање за манипулација.
Сите 20 веб-страници содржеле барем една темна шема.
Во просек биле забележани пет, а во некои случаи и до девет по страница. Меѓу нив имало лажни попусти, измислени сведоштва и визуелни техники за насочување на вниманието. До третата итерација вакви елементи се појавиле кај сите анализирани страници.
Проблемот, според истражувањата наведени во оригиналниот текст, не бил ограничен само на еден модел. При тестирање на Claude, GPT-4o, Gemini и CodeLlama биле генерирани 312 компоненти за е-продавници, а темни шеми биле идентификувани во 37% од нив. Кај одредени категории процентот достигнувал и 92%.
Едно од можните објаснувања е дека моделите учат од постојната веб-содржина. Ако манипулативните дизајнерски практики се широко распространети на интернет, тие стануваат дел и од примерите од кои AI учи како изгледа една „ефикасна“ веб-страница.
Што ако AI не ја создава манипулацијата, туку самиот станува канал за убедување?
Уште поголем предизвик се појавува кога корисникот повеќе не комуницира со класична веб-страница, туку директно разговара со AI систем.
Во два експеримента со вкупно 2.012 учесници бил споредуван изборот на книги преку класично пребарување и преку разговор со LLM. Кога моделот добил инструкција активно да убедува, 61,2% од учесниците го избрале спонзорираниот производ, во споредба со 22,4% кај класичното пребарување.
Особено интересно е што ознаката „спонзорирано“ го намалила уделот само на 55,5%.
Корисниците подобро препознавале дека некој се обидува да влијае врз нивната одлука, но и понатаму во голем процент го избирале промовираниот производ.
Тоа отвора ново прашање за AI интерфејсите: дали транспарентноста сама по себе е доволна ако системот е исклучително добар во убедување?
Регулативата се соочува со нов проблем
Европската регулатива веќе опфаќа дел од овие прашања. Член 50 од EU AI Act предвидува одредени обврски за транспарентност при интеракција со AI системи, како и за означување на содржините генерирани со AI. Сепак, овие правила не го решаваат целосно прашањето за тоа како еден AI систем може да влијае врз одлуките на корисникот во текот на самиот разговор.
Истовремено, практичната примена на Digital Services Act покажува уште еден предизвик: регулаторите полесно можат да реагираат на она што е видливо на екранот отколку на механизмите скриени во алгоритмите за рангирање, препораки и персонализација.
Постапките против X, Amazon и Temu покажуваат дека регулаторните органи полесно можат да реагираат кога доказите се конкретни и видливи преку дизајнот што го гледа корисникот, интерната документација или директното тестирање на производите. Многу поголем предизвик се случаите што бараат подлабок увид во начинот на кој функционираат алгоритамските системи.
Колку AI е подлабоко вграден во рангирањето, препораките и персонализираните поттикнувања, толку помалку е доволно само да се анализира она што корисникот го гледа на екранот.
Препознавањето на манипулацијата можеби веќе не е доволно
Истражувањата укажуваат на уште еден проблем: дури и кога луѓето препознаваат дека одредена техника се обидува да влијае врз нивната одлука, тоа не значи дека ќе го променат своето однесување. Во многу случаи, тие сепак продолжуваат со купувањето.
Тоа значи дека дигиталната писменост и свесноста за темните шеми остануваат важни, но сами по себе можеби не се доволна заштита.
Во средина во која алгоритмите можат да тестираат огромен број варијанти, да учат од однесувањето на корисникот и да ја персонализираат комуникацијата, манипулацијата потенцијално станува посуптилна и потешко забележлива.
За компаниите што развиваат AI производи, тоа отвора прашања за одговорноста при користење код и интерфејси генерирани со AI. За регулаторите, пак, значи дека анализата на поединечни екрани можеби веќе не е доволна и дека во фокусот сè повеќе ќе мора да биде целиот систем од моделот и алгоритмот за препораки до интерфејсот што го гледа корисникот.
А за корисниците останува едно важно прашање: ако алгоритмот знае сè повеќе за тоа што може да нè убеди, дали секогаш ќе можеме да препознаеме кога некој се обидува да влијае врз нашиот избор?
Извор: webmind.rs
