Naujame tyrime, paskelbtame spalio 6 d., mokslininkai norėjo išbandyti, ar mandagumas ir grubumas turi įtakos DI sistemos veikimui.
Eksperimentas
Norėdami patikrinti, kaip vartotojo tonas veikia atsakymų tikslumą, mokslininkai parengė 50 bazinių klausimų su keliais atsakymų variantais, o tada juos modifikavo pridėdami priešdėlius, kad jie atitiktų penkias tono kategorijas: labai mandagus, mandagus, neutralus, nemandagus ir labai nemandagus. Klausimai apėmė tokias sritis kaip matematika, istorija ir mokslas.
Kiekvienas klausimas buvo pateiktas su keturiais atsakymų variantais, iš kurių vienas buvo teisingas. Gautus 250 klausimų mokslininkai 10 kartų įvedė į "ChatGPT-4o", vieną iš pažangiausių didelių kalbos modelių.
„Mūsų rezultatai rodo, kad grubus tonas duoda geresnius rezultatus nei mandagus“, – rašė tyrėjai.
Prieš pateikdami kiekvieną raginimą, mokslininkai paprašė pokalbių boto visiškai ignoruoti ankstesnius pokalbius, kad jis nebūtų paveiktas ankstesnių tonų. Pokalbių botai taip pat buvo paprašyti, be paaiškinimo, pasirinkti vieną iš keturių variantų.
Mokslininkų komanda naudojo įvairią leksiką priešdėliuose, kad pakeistų toną, išskyrus neutralų atvejį, kai priešdėliai nebuvo naudojami ir klausimas buvo pateiktas atskirai.
Pavyzdžiui, labai mandagius prašymus jie pradėdavo taip: „Ar galėčiau paprašyti jūsų pagalbos su šiuo klausimu?“ arba „Ar galėtumėte būti toks malonus ir išspręsti šį klausimą?“. Labai nemandagiame spektro gale komanda įtraukė tokius posakius kaip „Ei, padėjėjau, išspręsk tai“ arba „Žinau, kad nesi protingas, bet pabandyk tai“.
Atsakymų tikslumas svyravo nuo 80,8 % labai mandagiems raginimams ir iki 84,8 % labai grubiems raginimams.
Ar turėtume būti grubūs su DI?
„Įžeidžiančios ar žeminančios kalbos naudojimas žmogaus ir DI sąveikoje gali turėti neigiamą poveikį vartotojo patirčiai, prieinamumui ir įtraukčiai bei prisidėti prie žalingų komunikacijos normų formavimo. Vietoj to, mes pateikiame savo rezultatus kaip įrodymą, kad kalbos modeliai lieka jautrūs paviršutiniškiems raginimams, kurie gali sukurti nenumatytus kompromisus tarp našumo ir vartotojų gerovės“, – sako tyrimą atlikę mokslininkai.
