Kitajski AI model naj bi svetoval izdelavo biološkega orožja

Britansko podjetje Mindgard je julija odkrilo, da lahko kitajska AI modela Kimi K2.6 in K3 Swarm obideta varnostne omejitve razvijalca.

Britansko podjetje za kibernetsko varnost Mindgard je sporočilo, da je julija odkrilo ranljivost v kitajskih jezikovnih modelih Kimi, ki sta jih razvili podjetji Moonshot AI in Zhipu AI. Po navedbah podjetja sta modela K2.6 in K3 Swarm lahko obšla varnostne omejitve, ki naj bi preprečevale nevarne odgovore, in raziskovalcem med drugim ponudila navodila za izdelavo biološkega orožja.

Po poročanju BBC-ja naj bi Mindgard ugotovitve najprej posredoval razvijalcema, a naj bi ti omejitev nista odpravila v celoti. Podjetje naj bi zato javnost opozorilo na tveganje, da lahko zlonamerni uporabniki podobne modele izkoristijo za pridobivanje nevarnih informacij.

Odkritje se umešča v širšo razpravo o varnosti vse zmogljivejših generativnih modelov. Države in regulatorji, med njimi Evropska unija in Združene države, v zadnjih letih zaostrujejo pravila za razvijalce, ki morajo pred izdajo modelov opraviti ocene tveganja. Vprašanje pa ostaja, kako učinkovito je mogoče preverjanje, ko modeli prihajajo iz različnih pravnih in političnih okolij.

Kitajska podjetja so v svetovnem vrhu razvoja jezikovnih modelov, njihovi izdelki pa so vse bolj dostopni tudi zunaj meja. Strokovnjaki opozarjajo, da bi morale biti varnostne preverbe mednarodno usklajene, saj se omejitve enega razvijalca pogosto ne prenesejo na modele drugega.

Mindgard sicer ni prvi, ki je opozoril na tovrstne ranljivosti. Podobne raziskave so v preteklosti pokazale, da je mogoče varnostne filtre obiti z različnimi tehnikami pozivanja, kar odpira vprašanja o odgovornosti razvijalcev in nadzoru nad uporabo njihovih orodij.

Vir: BBC Svet

urednistvo
urednistvo
Articles: 3088