Algorismes

Els biaixos en algorismes fan mal a aquells que busquen informació sobre salut a youtube

YouTube allotja milions de vídeos relacionats amb l'assistència sanitària.

La Health Information National Trends Survey informa que el 75% dels nord-americans van a Internet primer quan busquen informació sobre temes de salut o mèdics. YouTube és una de les plataformes en línia més populars, amb milers de milions de visualitzacions cada dia, i s'ha convertit en una font important d'informació sanitària.


Diverses agències de salut pública, com els departaments estatals de salut, han invertit recursos a YouTube com a canal de comunicació sanitària. Els pacients amb afeccions cròniques de salut confien especialment en les xarxes socials, inclosos els vídeos de YouTube, per obtenir més informació sobre com gestionar les seues afeccions.


Però les recomanacions de vídeo en aquests llocs podrien agreujar les disparitats de salut existents.


S’estima que una fracció significativa de la població nord-americana té una alfabetització sanitària limitada o la capacitat d’obtenir, processar i comprendre informació bàsica sobre salut, com ara la capacitat de llegir i comprendre receptes, fulls de cita o instruccions d’alta de les clíniques de salut.


Els estudis d’alfabetització sanitària, com l’Evaluació Nacional de l’alfabetització d’adults realitzats el 2003, van estimar que només el 12% dels adults tenia habilitats d’alfabetització en salut. Això s'ha confirmat en estudis posteriors .


Sóc professor de sistemes d’informació i la meva pròpia investigació ha examinat com plataformes de xarxes socials com YouTube augmenten aquestes disparitats d’alfabetització en salut orientant els usuaris cap a contingut qüestionable.


En extreure milers de vídeos que pretenien tractar-se de diabetis, vaig verificar si la informació mostrada s’ajusta a les directrius mèdiques vàlides.

Vaig trobar que els vídeos més populars i atractius tenen menys probabilitats de tenir informació mèdicament vàlida.

Els usuaris solen trobar vídeos sobre condicions de salut mitjançant cerques de paraules clau a YouTube. A continuació, YouTube proporciona enllaços a informació mèdica autenticada, com ara els resultats més ben classificats. Alguns d’aquests són produïts per organitzacions sanitàries de renom.

Recentment, YouTube ha ajustat la manera com es mostren els resultats de la cerca, cosa que permet classificar els resultats per rellevància " i proporcionar enllaços a informació mèdica verificada .

Tanmateix, quan vaig contractar metges per veure els vídeos i valorar-los si es consideraven vàlids i comprensibles des de la perspectiva de l’educació del pacient, van valorar mal les recomanacions de YouTube.

Vaig trobar que els vídeos més populars són els que solen tenir informació fàcilment comprensible, però no sempre són mèdicament vàlids. Un estudi sobre els vídeos més populars de COVID-19 també va trobar que una quarta part dels vídeos no contenien informació mèdicament vàlida .

Tot i que els vídeos de fonts com CDC poden ser els més informatius, no sempre són els més populars. Això es deu al fet que els algoritmes subjacents a les recomanacions a les plataformes de xarxes socials estan esbiaixats cap al compromís i la popularitat.

Segons la forma en què les plataformes digitals proporcionen informació per fer consultes, és més probable que un usuari amb una alfabetització sanitària més gran descobreixca consells mèdics d’un proveïdor d’atenció mèdica de renom, com la Clínica Mayo. El mateix algorisme orientarà un usuari menys alfabetitzat cap a curacions falses o consells mèdics enganyosos.


Això pot ser especialment perjudicial per als grups minoritaris. Els estudis d’alfabetització sanitària als Estats Units han constatat que l’impacte d’una alfabetització sanitària limitada afecta desproporcionadament les minories.


No tenim prou estudis sobre l’estat de l’alfabetització sanitària entre les poblacions minoritàries, especialment a les zones urbanes . Això fa que siga difícil dissenyar comunicacions sanitàries dirigides a minories i intervencions per millorar la utilització dels recursos existents d’assistència sanitària.


També pot haver-hi barreres culturals en matèria d’ assistència sanitària en poblacions minoritàries que agreugen les barreres d’alfabetització. La insuficient educació i la manca d’autogestió de l’atenció crònica també s’han destacat com a desafiaments per a les minories.


Biaixos algorítmics

Corregir els biaixos algorítmics i proporcionar una millor informació als usuaris de plataformes tecnològiques ajudaria molt a la promoció de l’equitat.


Per exemple, un estudi pioner del projecte Gender Shades va examinar les disparitats en identificar el gènere i el tipus de pell en diferents empreses que proporcionen programari comercial de reconeixement facial. Va concloure que les empreses van poder avançar en la reducció d’aquestes disparitats una volta es van assenyalar els problemes.


Segons algunes estimacions, Google rep més de mil milions de preguntes de salut cada dia. Especialment aquells amb poca alfabetització sanitària tenen un risc substancial de trobar informació no fonamentada mèdicament, com ara mites populars o teories de la conspiració activa que no es basen en evidències científiques.


El Fòrum Econòmic Mundial ha qualificat d '"infodèmica " la desinformació relacionada amb la salut. Les plataformes digitals on qualsevol persona pot participar també les fan vulnerables a la desinformació, accentuant les disparitats en l’alfabetització sanitària, tal com demostra el meu propi treball.


Les xarxes socials i les empreses de cerca s’han associat amb organitzacions sanitàries com la Clínica Mayo per proporcionar informació validada i reduir la difusió de la desinformació . Per fer que la informació sanitària a YouTube siga més equitativa, aquells que dissenyen algoritmes de recomanació haurien d’incorporar comentaris de metges i pacients, així com d’usuaris finals .


Article original: https://theconversation.com/biases-in-algorithms-hurt-those-looking-for-information-on-health-140616


Les tecnologies d’IA, com el reconeixement facial policial, discriminen les persones de color

La policia de Detroit va detenir injustament Robert Julian-Borchak Williams el gener de 2020 per un incident de robatori de botigues que havia tingut lloc dos anys abans . Tot i que Williams no va tenir res a veure amb l’incident, la tecnologia de reconeixement facial utilitzada per la policia estatal de Michigan va “coincidir” amb una imatge granulada obtinguda d’un vídeo de vigilància a la botiga que mostra un altre home afroamericà que agafava rellotges per valor de 3.800 dòlars EUA.

Dues setmanes després, el cas es va desestimar a petició de la fiscalia. No obstant això, confiant en la pista defectuosa, la policia ja havia emmanillat i arrestat a Williams davant de la seua família, l'havia obligat a proporcionar empremtes digitals i una mostra del seu ADN, el van interrogar i el van empresonar durant la nit.

Els experts suggereixen que Williams no està sol i que d'altres han estat objecte d'injustícies similars. La controvèrsia sobre l’ús policial de Clearview AI certament subratlla els riscos de privadesa que comporta la tecnologia de reconeixement facial. Però és important adonar-se que no tots assumim aquests riscos per igual .


Formació d’algoritmes racistes

La tecnologia de reconeixement facial que s’adapta i s’adapta a les cares caucàsiques identifica i etiqueta malament sistemàticament els individus racialitzats: nombrosos estudis informen que la tecnologia de reconeixement facial és “ defectuosa i esbiaixada, amb taxes d’error significativament més altes quan s’utilitza contra persones de color ”.

Això soscava la individualitat i la humanitat de les persones racialitzades que són més susceptibles de ser identificades erròniament com a criminals. La tecnologia –i els errors d’identificació que comet– reflecteix i reforça encara més les divisions socials de llarga data que estan profundament enredades amb el racisme, el sexisme, l’homofòbia, el colonitzador-colonialisme i altres opressions entrecreuades.


Com la tecnologia classifica els usuaris

Al seu llibre que va canviar el joc de 1993, The Panoptic Sort , l’erudit Oscar Gandy va advertir que “la tecnologia complexa [que] implica la recopilació, processament i intercanvi d’informació sobre individus i grups que es genera a través de la seua vida quotidiana ... s’utilitza per coordinar i controlar el seu accés als béns i serveis que defineixen la vida en l'economia capitalista moderna ". Les forces de l’ordre l’utilitzen per arrencar sospitosos del públic en general i les organitzacions privades l’utilitzen per determinar si tenim accés a coses com la banca i l’ ocupació .

Gandy va advertir profèticament que, si no es controlava, aquesta forma de "triatge cibernètic" desfavoriria exponencialment els membres de comunitats que busquen igualtat, per exemple, grups que estiguen racialitzats o desafavorits socioeconòmicament, tant pel que fa a allò que se'ls assignaria com a com podrien arribar a entendre’s a si mateixos.

Uns 25 anys després, ara vivim amb el tipus panòptic d’esteroides. I abunden exemples dels seus efectes negatius sobre les comunitats que busquen igualtat, com la falsa identificació de Williams.

Biaix preexistent

Aquesta classificació mitjançant algoritmes s’infiltra en els aspectes més fonamentals de la vida quotidiana, provocant la violència tant directa com estructural.

La violència directa que va viure Williams es fa palesa immediatament en els fets relacionats amb la seua detenció i detenció, i els danys que va experimentar són evidents i es poden remuntar a les accions de la policia que va optar per confiar en la pista de la tecnologia per fer una detenció. Més violenta és la violència estructural perpetrada mitjançant la tecnologia de reconeixement facial i altres tecnologies digitals que valoren, fan coincidir, classifiquen i classifiquen les persones de maneres que augmenten els patrons discriminatoris preexistents.

Els danys per violència estructural són menys evidents i menys directes i causen lesions als grups que busquen igualtat a través de la negació sistemàtica del poder, els recursos i les oportunitats. Simultàniament, augmenta el risc directe i el dany per als membres individuals d'aquests grups.

La policia predictiva utilitza el processament algorítmic de dades històriques per predir quan i on és probable que es produeixquen nous delictes , assigna els recursos policials en conseqüència i incorpora una vigilància policial millorada a les comunitats, generalment en barris amb menys ingressos i racialitzats. Això augmenta les probabilitats que qualsevol activitat criminal (inclosa una activitat criminal menys greu que d'una altra manera no provocaria cap resposta policial) siga detectada i castigada, limitant en última instància les possibilitats de vida de les persones que viuen dins d'aquest entorn.

I l’evidència de les desigualtats en altres sectors continua augmentant. Centenars d'estudiants del Regne Unit van protestar el 16 d'agost contra els desastrosos resultats d' Ofqual , un algorisme defectuós que el govern del Regne Unit va utilitzar per determinar quins estudiants podrien obtenir la universitat. El 2019, el servei d’anuncis de microtargeting de Facebook va ajudar a desenes d’empresaris del sector públic i privat a excloure les persones de rebre anuncis de feina en funció de l’edat i el gènere. Una investigació realitzada per ProPublica ha documentat la discriminació de preus basada en la raça dels productes en línia . I els motors de cerca produeixen regularment resultats racistes i masclistes.


Perpetuar l’opressió

Aquests resultats són importants perquè perpetuen i aprofundeixen les desigualtats preexistents en funció de característiques com la raça, el gènere i l’edat. També tenen importància perquè afecten profundament la manera com ens coneixem a nosaltres mateixos i al món que ens envolta, de vegades seleccionant prèviament la informació que rebem de manera que reforce les percepcions estereotípiques. Fins i tot les mateixes empreses tecnològiques reconeixen la urgència d’aturar els algorismes per perpetuar la discriminació .

Fins ara l’èxit de les investigacions ad hoc, realitzades per les mateixes empreses tecnològiques, ha estat inconsistent. De tant en tant, les empreses implicades en la producció de sistemes discriminatoris les retiren del mercat, com quan Clearview AI va anunciar que ja no oferiria tecnologia de reconeixement facial al Canadà . Però sovint aquestes decisions resulten de l’escrutini regulador o clam públic només després que els membres de les comunitats que busquen la igualtat ja hagen estat perjudicats.

És hora de donar a les nostres institucions reguladores les eines que necessiten per solucionar el problema. Les senzilles proteccions de privadesa que depenen d’obtenir el consentiment individual per permetre que les empreses capturin i reutilitzen les dades no es poden separar dels resultats discriminatoris d’aquest ús. Això és especialment cert en una època en què la majoria de nosaltres ( incloses les pròpies empreses tecnològiques ) no podem entendre del tot què fan els algoritmes ni per què produeixen resultats específics.

La privadesa és un dret humà

Part de la solució implica el desglossament de les actuals sitges reguladores que tracten la privadesa i els drets humans com a qüestions separades. Basar-se en un model de protecció de dades basat en el consentiment passa pel principi bàsic que la privadesa i la igualtat són drets humans que no es poden contractar.

Fins i tot la Carta digital del Canadà, l’últim intent del govern federal per respondre a les mancances de l’estat actual de l’entorn digital, manté aquestes distincions conceptuals. Tracta l'odi i l'extremisme, el control i el consentiment i la forta democràcia com a categories separades.

Per fer front a la discriminació algorítmica, hem de reconèixer i emmarcar la privadesa i la igualtat com a drets humans. I hem de crear una infraestructura que siga igual d’atenta i experta en totes dues. Sense aquests esforços, la brillantor de les matemàtiques i les ciències continuarà camuflant els biaixos discriminatoris de la IA, i es pot esperar que les situacions com la infligida a Williams es multipliquen.