Използването на изкуствен интелект за прогнозиране къде ще бъдат извършени престъпления крие риск от засилване на дискриминацията срещу малцинства, предупреждават изследователи в материал на BBC. Според д-р Каролин Маккей от Юридическия факултет на Университета в Сидни работата на полицията трябва да подлежи на човешки надзор, включително проверка на данните за пристрастия.

Проблемът е в обратната връзка между прогнозите и полицейското присъствие. Когато моделът посочи даден район като рисков, там се изпращат повече патрули. Те регистрират повече нарушения, а тези записи могат да насочат следващата прогноза отново към същото място. Така статистиката отразява не само престъпността, но и къде полицията е избрала да търси нарушения.

Социоложката Сара Брейн от Тексаския университет в Остин изследва използването на големи масиви от данни в полицията на Лос Анджелис. В публикация в American Sociological Review тя установява, че полицията все повече използва данни, за да прогнозира престъпления, а не само да реагира на тях. Престъпленията на обществени места по-често попадат в регистрите, а полицейското внимание е непропорционално насочено към квартали с чернокожо население. Според Брейн прогнозите могат да изглеждат безпристрастни, докато самите те допринасят за бъдещи контакти с полицията.

Изследователи от Нюйоркския университет установяват, че в девет от 13 разгледани американски района за обучение на подобни системи са били достъпни данни от периоди на незаконни или пристрастни полицейски практики. Те наричат „мръсни данни“ записи, оформени от практики като манипулиране на статистиката и арести на невинни хора. Според изследователите техническите решения на доставчиците не са достатъчни без независима проверка как са създадени данните.

Д-р Димитриос Колиас от лондонския университет „Куин Мери“ обаче оспорва представата, че съвременният изкуствен интелект просто копира миналото. Пред BBC той обяснява, че моделите могат да съчетават наученото по нов начин и да създават решения, които не присъстват пряко в обучаващите примери. Според него пристрастността не е неизбежна: системите могат да се проверяват за несправедливи резултати, а данните и целите им да се подобряват и да се въвеждат предпазни мерки. По-голямата автономност същевременно изисква безопасност, надеждност и реален човешки контрол.

Значението на избраната цел се вижда в изследване от 2019 г. в Science за алгоритъм, използван в здравеопазването в САЩ. Той прогнозирал разходите за грижи, за да определя кои пациенти да получат допълнителна помощ. Но за чернокожи пациенти вече се харчело по-малко, отколкото за също толкова болни бели пациенти, отчасти заради по-лош достъп до грижи. Така алгоритъмът несправедливо давал предимство на белите пациенти. Когато изследователите променили системата да оценява колко болни са пациентите вместо очакваните разходи, пристрастността до голяма степен изчезнала. Делът на чернокожите пациенти, избрани за допълнителна помощ, би нараснал от около 18% на 47%.

Възможен подход, описан в материала на BBC, е към данните за престъпления да се добави информация за местната среда — например неработещо улично осветление, недостатъчно финансиране и липсващи обществени услуги. Това би могло да насочи местните власти към подобряване на условията и подкрепа за общността вместо към изпращане на повече патрули. Маккей обаче предупреждава, че дори моделите да оценяват места, а не отделни хора, районите остават свързани с обитателите си и рискът от прекомерно полицейско присъствие и маргинализация може да се запази.

Колиас вижда и възможност внимателно проектирани и независимо оценени системи да направят съществуващите пристрастия по-видими и измерими, така че да могат да бъдат откривани и намалявани.