Algorismes

Els algorismes són reglaments?

ELS ALGORISMES SÓN REGLAMENTS: LA NECESSITAT D'ESTENDRE LES GARANTIES PRÒPIES LES NORMES REGLAMENTÀRIES ALS PROGRAMES EMPLEATS PER

L'ADMINISTRACIÓ PER A L'ADOPCIÓ DE DECISIONS *


Andrés Boix Palop

Professor titular de Dret administratiu

Universitat de València - Estudi General

EL DRET DAVANT L'AVENÇ DEL LA INTEL·LIGÈNCIA ARTIFICIAL

Afirmar que el Dret com a instrument d'ordenació tal com el coneixem i en el qual hem estat formats s'està veient obligat a una molt important transformació com a conseqüència de l'avançat desenvolupament de la informàtica i de la intel·ligència artificial resulta probablement superflu a hores d'ara. No obstant això, dista de ser-ho tractar d'entendre i analitzar fins a quin punt aquests canvis obliguen a transformacions profundes en la forma en que el nostre Dret funciona i com afecten algunes de les seves estructures, conceptuals i aplicatives, més bàsiques.

En aquest sentit, i respecte de no poques qüestions, el fet de tenir a la nostra disposició eines computacionals extraordinàriament avançades com mai abans havien existit (Tegmark, 2017: 61-71) comporta no només canvis quantitatius sinó algunes transformacions de major calat, que podríem considerar qualitatives o, millor expressat, estructurals i que afecten a les bases de la pròpia manera d'ordenar jurídicament la realitat de què disposàvem. No es tracta doncs, únicament, que en l'actualitat sigui possible comptar molt més i molt més ràpid -i molt més barat també- que mai -que també- sinó que, a l'tenir aquestes possibilitats a la nostra disposició, anem a poder emprar-les per resoldre problemes que abans ateníem des d'una perspectiva diferent perquè no era possible -o prou eficient- acudir a respostes basades en el càlcul, la probabilitat o les correlacions, però que ara cada vegada més comencem a poder resoldre amb aquests mètodes perquè, gràcies a aquesta major potència de computació, ja ofereixen també bons resultats en aquestes parcel·les. D'aquestes transformacions de fons i de el paper que la Llei i el Dret han de jugar davant les mateixes per preservar l'equitat i la justícia social adoptant en ocasions un paper necessàriament diferent ja vaig tractar de donar compte, extensament, fa uns anys, fent molt èmfasi en la naturalesa qualitativa de l'canvi i l'inevitable canvi de el paper de la llei en aquest context (BOIX PALOP, 2007),

1.1. Intel·ligència artificial i principi de precaució

La clau de totes les transformacions referides és doncs, com ja s'ha apuntat, el exponencial increment de la capacitat de càlcul associada a el desenvolupament de la informàtica contemporània i, amb això, la possibilitat de realitzar mecànicament operacions cada vegada més complexes, i un major nombre d'elles, en molt menor temps. Aquest increment és el que portarà a l'aparició, en un horitzó encara indeterminat, però clarament concebible en els seus elements estructurals, de capacitats computacionals equivalents en el substancial, al menys en els seus resultats, a la manera en què els éssers humans processem la realitat i la transformem, per mitjà de les decisions que adoptem a l'interactuar amb ella. Els especialistes en la matèria discuteixen sobre quin pugui ser l'horitzó temporal en què es pugui arribar a aquest moment, amb posicions que oscil·len en general entre els trenta i els setanta anys des de l'actualitat (BOSTRON, 2014: 18-21), o en quines característiques pugui acabar tenint fet i fet aquesta intel·ligència artificial (Tegmark, 2017: 49-55), però no en què més tard o més d'hora, i amb una conformació o una altra, aquest esdeveniment es produirà. Amb independència de qüestions de fons -antropológicas, culturals, religioses, històriques, fins i tot polítiques- sobre el que puguem considerar que identifica o singularitza als éssers humans davant d'un context com el descrit -HARIRI, 2015, ha realitzat una molt interessant aproximació a aquesta qüestió que ha generat, com és sabut, un interessant debat públic-, i en termes pràctics, als efectes de la gestió d'un instrument tan potent a les nostres mans, resulta clau entendre el millor possible les seves conseqüències. Així, el Dret només pot actuar sobre aquesta nova realitat si comprèn les implicacions d'aquestes noves possibilitats, funcionament i utilitats presents i futures derivades de la capacitat de computació, càlcul i ús de la mateixa per a la millor la identificació de pautes, anàlisi de la realitat i ajuda a la presa de decisions ... quan no directament de l'ús d'aquestes capacitats d'intel·ligència artificial per delegar-hi la presa de decisions en la seva integritat a mesura que es vagin mostrant millors, més eficients i més capaços que les preses per intel·ligències humanes tradicionals en mica en mica més àmbits (HOFFMANN-RIEM: 2018: 59-62). A aquests efectes, està bastant assumit que des d'un punt de vista estrictament pràctic i funcional no hi ha massa diferències entre la forma en què sabem que funciona el nostre cervell a l'hora de prendre decisions i la manera en què els programes basats en una successió de càlculs i les instruccions que indiquen com dur-los a terme -els algoritmes que componen la programació- operen (BOSTRON, 2014: 23-30). Simplement, assistim a una gradual substitució d'una forma d'operar per una altra a mesura que la intel·ligència artificial es va mostrant més i més capaç de substituir la intel·ligència humana, i anar més enllà, en més i més àmbits (de nou, Tegmark, 2017: 49-55).

Una de les grans qüestions relacionades amb aquest punt, al menys a mig i llarg termini, serà la relativa a el control d'aquestes formes d'intel·ligència i com, emprant no només la tecnologia disponible sinó també el Dret, tractar d'enquadrar seu desenvolupament per tal de evitar problemes futurs -que poden ser molts i molt variats, segons el parer de gairebé tots els especialistes en la matèria-. Assumida la previsió que la superació de la intel·ligència humana en cada vegada més activitats és només qüestió de temps, la comprensió de l'funcionament dels algoritmes i programes a partir dels quals funcionaran les noves "súperinteligencias" de el futur és essencial per aspirar a la seva control o, al menys, en el moment oportú enquadrament (BOSTRON, 2014: 143-144). Enquadrament que no només ha d'estar basat en aquesta comprensió profunda dels mecanismes tecnològics en què es basa el seu funcionament, sinó també en la correcta i consensuada identificació dels objectius finals de la regulació, els valors als quals aquesta hauria d'atendre i les implicacions de regular que la programació de les intel·ligències artificials futures hagi de perseguir uns objectius o uns altres. Per això, davant d'aquesta nova tercera revolució tecnològica i productiva, el paper de la llei ha de ser totalment conseqüent amb aquesta necessitat d'establir objectius i finalitats i tractar de, a partir d'aquí, reorientar el funcionament d'aquests instruments (BOIX PALOP, 2007a : 145). els valors als quals aquesta hauria d'atendre i les implicacions de regular que la programació de les intel·ligències artificials futures hagi de perseguir uns objectius o uns altres. Per això, davant d'aquesta nova tercera revolució tecnològica i productiva, el paper de la llei ha de ser totalment conseqüent amb aquesta necessitat d'establir objectius i finalitats i tractar de, a partir d'aquí, reorientar el funcionament d'aquests instruments (BOIX PALOP, 2007a : 145). els valors als quals aquesta hauria d'atendre i les implicacions de regular que la programació de les intel·ligències artificials futures hagi de perseguir uns objectius o uns altres. Per això, davant d'aquesta nova tercera revolució tecnològica i productiva, el paper de la llei ha de ser totalment conseqüent amb aquesta necessitat d'establir objectius i finalitats i tractar de, a partir d'aquí, reorientar el funcionament d'aquests instruments (BOIX PALOP, 2007a : 145).

Aquesta tasca, a més de tècnica i referida a la manera de programar aquestes intel·ligències, és també jurídica, quan no essencialment jurídica. En aquest sentit, per exemple, la important conferència de Asilomar que va reunir a 2017 als més importants especialistes en intel·ligència artificial de l'món (Tegmark, 2017: 329-332) va establir una sèrie de criteris que donen molta importància a aquesta predeterminació d'objectius com element essencial (Asilomar, 2017), per molt que molt probablement no suficient per si mateix, per evitar possibles problemes (però fins i tot les anàlisis més crítics coincideixen en la necessitat d'ancorar tota possible regulació en aquesta clara predeterminació d'objectius; SCHMIEDCHEN, 2018: 17-23, 30-33). Al costat d'aquesta idea, un altre vector regulador que apareix sistemàticament tant en aquest document com en altres directrius amb vocació normativa aprovades en els últims anys (CCCPIAPPD, 2018; COMISSIÓ EUROPEA, 2018; PARLAMENT EUROPEU, 2019), coincideixen en la necessitat de tractar d'embridar en la mesura el possible -si és que pot ser-ho, o al menys actuant per intentar que ho sigui- les possibles conseqüències no desitjades o de vegades ni tan sols inicialment previstes de l'ocupació d'intel·ligència artificial (SCHMIEDCHEN, 2018: 1-3, 33-34) . Estem davant una mena de traducció a l'entorn computacional i de la intel·ligència de l'tradicional principi jurídic de precaució (COTINO, 2019: 27-28), que hem declinat jurídicament com a instrument clau per a la gestió de el risc, i que des Ulrich Beck projectem amb naturalitat sobre el Dret (BECK, 1986) però que ara hem de projectar també sobre la gestió de el risc provocat per l'actuació cada vegada més autònomes i més difícil de controlar tant per mitjans estrictament tecnològics com jurídics dels algoritmes (Yeung, 2019), especialment quan són emprats per a l'adopció de decisions amb capacitat per imposar-coactivament als ciutadans (SCHERER, 2016; DALY, 2019: 3-4). Aquesta translació a aquest nou entorn, amb tot, presenta uns perfils diferents, donada la magnitud de el risc en qüestió, que pot tenir conseqüències extintives per a l'espècie humana, i la irreversibilitat de la pèrdua de control sobre aquestes intel·ligències a partir d'un determinat moment de el procés. Per això potser no només calgui atendre el principi de precaució en la seva declinació més tradicional, sinó anar més enllà i integrar la pròpia noció de precaució en una formulació més radical adaptada a totes les necessitats i exigències de el nou entorn. Es tracta de la transformació probablement més important a la qual haurà de fer front el Dret en el futur, que hauríem de tenir present respecte de qualsevol regulació que afecti a aquestes matèries, tant quan els implicats siguin agents privats com el propi sector públic. Un repte que, a més, serà tasca de el Dret global, responsabilitat col·lectiva per definició i hauria d'impregnar l'aproximació a aquest fenomen en tots els casos, però l'estudi excedeix l'ambició d'aquest treball, que aspira a estudiar efectes més a curt termini i centrats en la manera d'aplicar el Dret vigent. Passa, però, que alguns dels ensenyaments derivades d'aquesta necessitat de prudència a l'hora d'afrontar el fenomen, han de ser tingudes en compte també per a aquesta última qüestió. Així, per exemple, tot el tractament que donem a l'enquadrament jurídic de les decisions algorítmiques adoptades pels poders públics, com a exemple particularment extrem d'aquesta capacitat d'imposició coactiva sobre els ciutadans, ha d'estar permeat per una precaució si és possible més acurada i, també, extrema, que justifica possibles pèrdues en eficiència a curt termini per aquestes raons.

1.2. De el Dret com racionalització formal abstracta i aplicació deductiva a la identificació de pautes, correlacions i salts aplicatius inductius

Respecte de el Dret en si mateix, i centrant-nos ja en alguna de les conseqüències més a curt termini i immediates de la referida transformació tecnològica, la intel·ligència artificial disponible a dia d'avui, tot i encara incipient i inferior considerada en el seu conjunt a la humana, ha canviat ja alguns elements estructurals referits a com entenem i apliquem el Dret. De fet, estem contemplant ja en els nostres dies, i des de fa uns anys, un gradual canvi de paradigma com a conseqüència de l'increment d'aquesta major capacitat de computació, que ha permès en cada vegada més àmbits un gradual abandonament de la racionalitat formal tradicional, acompanyada de la lògica de la subsumpció deductiva per aplicar aquestes normes abstractes prèvies que pretenien ordenar i esquematitzar la realitat,

Fins a la data, i en la mesura que l'ocupació d'algoritmes o programes s'havia vingut emprant majoritàriament per a la realització d'operacions mecàniques de càlcul i computació molt predeterminades, el resultat era fàcil de preveure i on l'ocupació de l'algoritme resultava molt senzill de entendre, integrar i rastrejar com una simple operació mecànica de càlcul i computació agregada d'uns paràmetres que es computen a partir d'unes instruccions ponderativas molt clares i fàcils de vincular els objectius perseguits - automatitation systems(VEALE i BRASS, 2019: 123-125) -, el problema s'havia pogut defugir. Fins a cert punt, es podia entendre que l'aportació de la informàtica, de la intel·ligència artificial, de la computació, en tots aquests casos era merament instrumental i mecànica, i per això jurídicament no rellevant mentre estiguem en el que es pot anomenar simple "automatització robòtica "(VALERO TORRIJOS, 2019: 85). No hi ha cap diferència jurídica entre escriure una resolució en una màquina d'escriure o fer-ho per mitjà d'un programa de processament de textos. En la mesura que l'aportació de la informàtica i dels programes emprats sigui merament instrumental i basat en l'ajuda a operacions de suport, per molta millora que suposi, no s'altera aquesta realitat. Que les operacions o càlculs requerits internament les realitzés una màquina ràpida i eficaçment o una persona laboriosa i lentament només comportava millora d'eficàcia, però no dificultats d'entesa o comprensió de l'operació realitzada ni, en cap cas, és clar, que la decisió depengui en res de la tecnologia emprada per fer aquests càlculs o operacions instrumentals ni pugui veure alterada per ells. Gran part dels usos de la intel·ligència artificial que estan fent encara les nostres administracions públiques, d'altra banda, entren encara en aquesta categoria (RAMIÓ MATAS, 2019: 13-21 i 61-67; CERRILLO I MARTÍNEZ, 2019: 8-10; CERRILLO I MARTÍNEZ, 2019b: 28-20),ex ante (COGLIANESE i Lehr, 2017: 1160-1176), a diferència del que ja permet la tecnologia (HOFFMANN-RIEM: 2018: 63-66) i comença a ocórrer en altres àmbits -tot i que en qüestions de valoració de la prova , més en altres països abans que a Espanya, pugui considerar-se que comencem a estar prop d'aquest canvi de paradigma ja (NEVA FENOLL, 2018: 26-28, 105-115) -.

Aquesta realitat canvia a partir de l'assumpció que, en cada vegada més àmbits i per a la realització de determinats càlculs, elcitat paradigma deductiu racionalista es veu superat, per consideracions d'eficàcia, pel recurs a el càlcul probabilístic i les inferències algorítmiques, en les solucions als operadors jurídics a poc a poc anem confiant més i més, fins i tot per contraintuitivas que puguin ser en ocasions, a mesura que ens van demostrant una major eficàcia en els seus resultats pràctics (SCHERER, 2016; O'Neil, 2016: 84-91; ZARSKY, 2016; SCANTAMBURLO, Charlesworth i CRISTINIANI, 2019: 58-68). Així, assistim a una progressiva substitució en entorns típicament valoratius o decisoris, que van des d'eines per a la detecció de tumors o la determinació de la millor ruta per arribar a una destinació. En tots ells el recurs als algoritmes va desplaçant, per mostrar-se més eficient, a les decisions humanes -Augmentation systems (VEALE i BRASS, 2019: 125-127) - gràcies al desenvolupament d'automatització cognitiva o, directament, d'intel·ligència artificial en la seva màxima expressió (VALERO TORRIJOS, 2019: 85). En el moment en que des del Dret vam començar a acceptar aquest paper, hem d'assumir que les regles tradicionals de el joc també canvien i que el paper de el Dret públic de el futur, a l'hora d'emmarcar aquestes decisions, potser hagi d'atendre elements fins la data no tan rellevants.

Donada aquesta evolució, el Dret, i molt particularment el Dret públic, s'enfronta a una situació on és previsible que en breu siguin precisament les decisions discrecionals, aquelles en què ha d'integrar-se alguna avaluació sobre la concurrència o no de certes circumstàncies o elements o on calgui realitzar una valoració respecte de la decisió a adoptar introduint consideracions finalísticas i ponderativas, on el guany qualitativa serà més gran. És a dir, aquelles que encara a dia d'avui els nostres ordenaments assumeixen que són decisions, en última instància, típicament humanes. I aquest és precisament el context en el qual, en breu, quan no ja en l'actualitat, haurem d'afrontar com regulem la integració de la intel·ligència artificial respecte de l'actuació administrativa de el futur.

1.3. Reflexions preliminars sobre les conseqüències de l'ocupació d'intel·ligència artificial per a la presa de decisions en Dret públic

En determinats casos, aquells supòsits on l'ús d'intel·ligència artificial afecta càlculs i programacions que permeten una gran formalització / racionalització formal ex antei que en conseqüència eren i són resolubles amb molta seguretat jurídica i grans possibilitats de predeterminació estricta i exacta, els problemes són molt menors. Aquí el paradigma de racionalització formal weberià en què es basa el nostre dret tradicional (BOIX PALOP, 2007a: 128; VEALE i BRASS, 2019: 125) segueix funcionat sense problemes i l'increment de la capacitat de computació permet realitzar molts més càlculs que antany, i que aquests resultin més ràpids, amb molt menys costos -Càlculs que a més són també més segurs i menys susceptibles de ser erróneos-, però no sense alterar substancialment la solució final -solució, a més, molt fàcilment predeterminable a partir dels instruments normatius clàssics de què disposem, així com traçable i aprehensible amb facilitat per qualsevol revisió externa-.

En canvi, la situació respecte dels entorns on l'increment de la capacitat de càlcul permet noves inferències i una millor identificació de situacions, causes o possibles solucions la transformació és qualitativament diferent. En aquests casos els guanys d'eficàcia tenen a veure amb la millor capacitat de, emprant aquestes eines, fer valoracions sobre la realitat o adoptar decisions diferents a les que haurien adoptat o generalment adopten els éssers humans i que, a més, no necessàriament són susceptibles de ser anticipades o previstes amb facilitat pels instruments normatius i de regulació. El guany és qualitativa precisament per aquesta raó, però això multiplica les dificultats d'enquadrament jurídic. Perquè en aquests casos les regles de joc tradicionals, la racionalització formalex ante i la suposada la previsibilitat de el Dret tradicional -suposada, perquè fet i fet depenia també enormement de l'aplicador humà, però el sistema es sustentava conceptualment en aquesta suposició- es desdibuixen notablement.

Com és evident, aquesta qüestió no passaria de ser una preocupació merament teòrica si aquesta major eficàcia no fóssim ja a hores d'ara perfectament conscients que es dóna, i cada vegada més, en entorns on, precisament, és la gestió de la incertesa i la valoració de moltes i molt complexes variables el que fet i fet resulta essencial per fer una millor valoració o la identificació de les solucions més adequades. Però ja sabem que és precisament en aquests entorns, com per exemple amb cada vegada més tipus de diagnòstics complexos en Medicina, on s'observen més millores gràcies a les modernes capacitats de la intel·ligència artificial.

Una cosa semblant, sens dubte, passarà cada vegada en més àmbits de el Dret, precisament afectant els que resultaven més complexos de substituir en un primer moment -aquells altres on les solucions són més mecàniques i predeterminadas-, de manera que fins a la data la resposta jurídica que hem dissenyat no és apta per a aquests supòsits. Supòsits on la previsibilitat ex davant derivada de la programació, tant jurídica com informàtica, es redueix enormement en comparació amb el que estàvem acostumats, entre altres coses pels coneguts efectes de "caixa negra" ( black box) De l'funcionament d'aquest tipus de programes (LIU, LIN i CHEN, 2019: 134-136) que, a partir d'un determinat punt, impedeixen fins i tot als seus programadors una predeterminació fiable dels resultats concrets que oferirà el programa un cop s'executi i que obliguen a confiar de manera fins a cert punt cega en la correcció d'aquests resultats només a partir de considerar que la programació que els determina està feta correctament (CERRILLO i MARTÍNEZ, 2019: 17-20; HOFFMANN-RIEM: 2018: 61- 62). Aquest efecte té a veure amb el funcionament dels sistemes complexos d'intel·ligència artificial, que depenen no només d'operacions i inferències probabilístiques molt complexes -el que, fins a cert punt, i fins i tot amb uns costos enormes, podria ser calculat i comprovat per intel·ligències humanes ,machine learning permet una gradual evolució de l'propi programa i de les solucions que aquesta va decantant (COGLIANESE i Lehr, 2017: 1156-1160; SCANTAMBURLO, Charlesworth i CRISTINIANI, 2019: 53-55; Daly, 2019: 7). Complexitat que s'incrementa com més complexa és la programació, major la capacitat de càlcul i si a més hi ha implicats efectes de xarxa (BOSTRON, 2014: 48-50). En aquests entorns la imprevisibilitat ex ante i aquests efectes de black boxs'incrementen, com és lògic, exponencialment, amb tot el que això implica per al Dret públic tradicional, basat en paradigmes de predeterminació normativa estricta. Per això els mecanismes de control i enquadrament d'aquests processos emergeixen inevitablement com la gran qüestió dels nostres dies (Yeung i LODGE, 2019: 12-13).

Com és evident, són aquests casos els que més interrogants i necessitat d'evolució dels nostres Drets plantegen, sense que fins al moment hàgim desenvolupat una pauta consistent mínimament satisfactòria. De fet, davant d'aquesta situació, la reacció inicial dels nostres ordenaments jurídics ha estat intentar obviar l'efectiva existència d'aquest segon tipus de situacions que sisuposen un canvi qualitatiu i obliguen a conseqüència a una reconsideració de la nostra resposta jurídica i seguir funcionant com si no existissin: si analitzem la resposta normativa donada fins a la data en gairebé tots els casos, i és també el que podrem veure respecte d'Espanya, aquesta es limita a regular la situació assumint que els increments de capacitat computacional fan simplement més potent l'eina emprada a l'efecte dels càlculs i poc més -increment de mera automatització robòtica (VALERO TORRIJOS, 2019: 85), automatitation systems(VEALE i BRASS, 2019: 123-125) -, de manera que tampoc preveuen de moment respostes reguladores complexes enfront de les altres possibles conseqüències, les que tenen a veure amb l'automatització cognitiva i la intel·ligència artificial (VALERO TORRIJOS, 2019: 85 ) que ens porten als entorns dels Augmentation systems(VEALE i BRASS, 2019: 125-127). En altres casos, fins i tot, s'ha optat, amb potser més franquesa, per prohibir l'ús d'aquests mitjans, a el menys de moment. És el que ara ha fet moment el Dret públic alemany, que en la seva Llei de procediment administratiu -en concret, §35VwVfG- ha introduït la prohibició d'ús d'algoritmes per a l'adopció de decisions que afectin drets dels ciutadans que puguin tenir un contingut discrecional (MARTINI i FINK, 2017: 681-682; SIEGEL, 2017: 24-28; MARTÍN PRIM, 2009: 371, per la seva banda, ha proposat una interpretació de l'ordenament jurídic espanyol en línia amb aquesta regla prohibitiva alemanya per les decisions administratives amb un important contingut discrecional en la línia de garantir una mena de «reserva d'humanitat» que ha defensat també PONCE SOLÉ, 2019: 28-30).

El problema és que, com és evident, es tracta d'una solució només viable a curt termini, en tant que, com ja s'ha dit, els majors guanys de tipus qualitatiu derivades de l'ocupació de programes i algoritmes dedicats a la presa de decisions seran previsiblement aconseguides precisament emprant la intel·ligència artificial en aquests entorns, raó per la qual no és previsible que la prohibició sigui una solució normativa sostenible a mitjà i llarg termini.

En qualsevol cas, hi ha raons de comoditat que expliquen que aquestes aproximacions siguin temptadores. Entre d'altres, permeten a l'Estat i als poders públics no haver d'enfrontar-se a una realitat incòmoda, per estar plena d'incerteses. També ajuden a retardar una intervenció reguladora que, per ser realitzada satisfactòriament ia més amb certa rapidesa a l'hora d'adaptar-se al desenvolupament tecnològic, requereix d'un coneixement i control sobre aquests avenços que, molt probablement, a hores d'ara ja no és patrimoni dels poders públics com ho havia estat des de feia gairebé dos segles. Situació que dificulta enormement una acció pública decidida i que abona la temptació de deixar en mans dels qui protagonitzen aquest desenvolupament la qüestió de la regulació efectiva de certs problemes, bé confiant en l'autoregulació, en el mercat o en què el mateix desenvolupament tecnològic, a el que millor no posar frens, serà capaç de resoldre per si sol els problemes que vagin apareixent. És, més o menys, i com veurem, el punt d'arribada que tenim a Espanya en aquests moments a l'respecte. S'obtenen així a curt termini els beneficis d'aquests avenços, ja que no es prohibeix la seva ocupació, sense haver d'ocupar de la qüestió de la regulació. I sempre és possible buscar justificacions en Dret per emparar una forma de funcionament com aquesta, sent la més habitual la d'al·legar que la decisió segueix residenciada jurídicament en un humà o un òrgan decisori tradicional, per molt que aquest pugui fer servir instruments d'avaluació i suport per a això i que alguns d'ells siguin d'aquest tipus. La qüestió és que, en el fons, ignorar aquesta realitat,

Tard o d'hora, el Dret públic haurà d'assumir que aquesta nova realitat, fins i tot amb les seves incerteses, imposa una resposta jurídica d'acord amb el canvi de paradigma. Una resposta que ha de ser capaç d'assumir que el paper de la llei en l'entorn tecnològic, però també social i econòmic, derivat de la tercera revolució productiva és en alguns aspectes essencials molt diferent a aquell en què hem estat instruïts tots els juristes, molt vinculat als esquemes mentals de la racionalització formal i la lògica deductiva que aspirava a operar sempre a partir de certeses normatives predefinides -és a dir, programades-. Òbviament, aquestes certeses no significaven sempre que el sistema funcionés adequadament -es podien produir condemnes d'innocents o absolucions de culpables, per exemple-, però això es devia a problemes aplicatius, conseqüència de la manca de correcció i coneixement imputable als aplicadors, no a problemes estructurals de el sistema jurídic, on un culpable sempre hauria de ser, en abstracte, condemnat, al mateix temps que un innocent havia de sempre ser absolt. L'acceptació gradual de mecanismes d'anàlisi de la realitat i presa de decisions probabilístics funciona a partir de paràmetres jurídics totalment diferents. Per exemple, les condemnes o absolucions depenen de l'establiment d'un llindar de certesa a partir de les quals un sistema prou efectiu de càlcul de probabilitats d'autoria en el qual confiem àmpliament ens permetrà decidir que hi ha d'haver condemna o absolució segons els casos. Aquesta manera de funcionar és totalment diferent a el principi tradicional de presumpció d'innocència, ja que quantificat aquest llindar de probabilitat s'assumeix com acceptable i inevitable que probabilísticament es condemna a innocents. Si a més el llindar no és molt exigent, com és el cas ja que es tendeix a ubicar-lo en un 90 per 100 de probabilitat (NEVA FENOLL, 2018: 2014), el nostre sistema passa d'un plantejament teòric que afirma que només es condemna a tot aquell que més enllà de tot dubte raonable sigui culpable a un model, de nou teòric, que assumeix en termes probabilístics com a normal, convenient o eficient -però, en definitiva, suficientment satisfactori- un 10 per 100 de condemnes a no culpables. Paràmetres que afectaran fins i tot a el tractament que els nostres ordenaments fan i han fet el "no Dret", és a dir, dels espais d'incompliment i dels seus beneficis socials diferencials que en entorns on la norma permet,

A aquests nous problemes, i sens dubte a molts més, hi haurà de donar resposta el Dret públic alternant potser alguna de les seves estructures tradicionals i renunciant, molt probablement, a bona part del seu marc conceptual tradicional. Però l'establiment d'objectius i de principis, la identificació dels fins perseguits i la decantació de les solucions més adequades per assolir-los seguiran sent una tasca, fins i tot en aquests nous entorns, netament jurídica. Per a això, i és el que es va a defensar en aquest treball, per coherència amb certs postulats jurídics bàsics però també per declinació d'aquesta necessària precaució abans ressenyada, el Dret públic, i en concret el Dret administratiu, haurà d'afrontar aquesta tasca assumint plenament , en primer lloc, la necessària preeminència jurídica tant per a la predeterminació típica requerida per a l'aplicació posterior a el cas concret de les regles també quan es faci per mitjà d'aquests nous instruments que, juntament amb les normes jurídiques tradicionals, conformen com a part essencial el nou entramat normatiu: els algoritmes i els programes i models que aquests componen i el codi font en què aquests estan escrits (O'Neil, 2016: 29-31). Aquest codi informàtic, fet i fet, actua també en la pràctica com a codi jurídic des del moment en què formen part de les regles que predeterminen les conseqüències jurídiques que el nostre ordenament jurídic estableix i preveu enfront de la concurrència de certes circumstàncies de fet. Per això, el nostre Dret públic ha de tractar-lo com a tal. Una cosa que fins a la data lluny de ser el cas.

2.  CÓDIGO JURÍDICO Y CÓDIGO FUENTE: LA INSUFICIENCIA DE LAS GARANTÍAS JURÍDICAS DECLINADAS HASTA LA FECHA

Si assumim que el codi font que integrem en l'adopció de decisions administratives té materialment valor normatiu, atès que aquests algoritmes i programes són emprats com a elements que ajuden a determinar la concurrència o no de certes circumstàncies de fet o que estableixen la conveniència o no de associar certes conseqüències jurídiques als fets disponibles, és inevitable deduir d'això conseqüències jurídiques associades. Conseqüències que tenen a veure amb aquesta funció material, que no pot ser obviada i respecte de la qual el nostre ordenament jurídic ha decantat solucions al llarg de molts anys per al seu correcte enquadrament. De manera que, per molt noves que siguin algunes de les conseqüències de l'ocupació de la intel·ligència artificial per part de les administracions públiques, i per molt que hagi d'operar canvis estructurals en el nostre Dret per acomodar-se a aquests canvis, altres problemes estan cridats a ser solucionats de forma substancialment igual a la manera amb què els resolíem tradicionalment. És el que passa amb les garanties dels ciutadans davant les potestats i possibilitats actuació dels poders públics que puguin afectar-los. Quan aquesta actuació sigui algorísmica, com no pot ser menys, a sobre es projectaran exactament de la mateixa manera tots els principis constitucionals que supraordenan com han d'actuar els poders públics quan l'Administració ho feia per mitjans tradicionals (CERRILLO I MARTÍNEZ, 2019: 13 -14): en concret, l'exigència que els ciutadans tinguin capacitat per conèixer les conseqüències dels seus actes i quina sigui la preordenació normativa amb la qual opera el poder públic, no sembla que siguin qüestions que hagen de quedar modificades simplement per un canvi d'eines. Tampoc això introdueix canvis substancials respecte de l'acord sobre la importància de que l'ordenament jurídic doti de les suficients garanties a el sistema com perquè els ciutadans puguin quedar protegits enfront de l'acció de el poder de l'Estat, entre elles que la puguin conèixer i entendre, així com controlar-la i fiscalitzar per verificar que aquesta no sigui arbitrària.

Totes aquestes qüestions, quan queden referides a la necessària determinació de pautes per a la incorporació d'algoritmes, no han de ser afrontades únicament per mitjà de directrius de bona governança pública, com és habitual reiterar, tot fent èmfasi en la seva importància i necessitat en la doctrina anglosaxona, (VEALE i BRASS, 2019: 128-32), sinó que requereixen d'un enquadrament jurídic normatiu estricte coherent amb aquestes consideracions i principis constitucionals. Tractem d'enfilar mínimament, doncs, quines són les conseqüències, que, en Dret, creiem que es dedueixen d'aquestes exigències.

2.1. Code 2.0.

Afirmar que els algoritmes i programes que componen, quan són emprats pels poders públics per avaluar situacions de les que després s'ha de deduir l'aplicació de conseqüències jurídiques o, directament, per determinar aquesta a partir de la concurrència o no de certes condicions o fets, es comporten materialment com les normes jurídiques amb les que habitualment treballem els juristes no és una cosa estrictament nou ni tampoc particularment disruptiu des d'una perspectiva teòrica. En termes kelsenianos, que ja assenyalava aviat que les normes jurídiques ho són qualsevol que sigui la forma en què es presentin si compleixen amb una funció materialment normativa, és a dir, prescrivint o autoritzant una conducta determinada (KELSEN, 1960: 38), pocs dubtes pot haver a l'respecte -encara que, si escau, plantejava simplement aquest caràcter normatiu qualssevol que fos la forma gramatical emprada, ja que les possibles codificacions disponibles en aquest moment eren merament gramaticals (KELSEN, 1969: 39) -. De fet, en una de les primeres obres que van tractar de forma moderna i global l'enorme significació jurídica dels canvis que les noves tecnologies ens anaven a oferir, la primera edició deCode (LESSIG, 1999; segona edició Code versió 2.0de 2006), s'avança des de les seves primeres pàgines una reflexió que el temps no ha fet sinó confirmar: estem ja de ple en una societat en la qual, cada vegada més, el veritable abast dels drets dels ciutadans dependrà en major mesura dels codis de programació a partir dels quals s'articula el funcionament de tot tipus d'aplicacions informàtiques que dels mateixos codis jurídics tradicionals que tant venerem els juristes (LESSIG, 2006: 6-7). L'afirmació pot semblar exagerada -o potser exagerada ... de moment- però apunta en una direcció interessant: la programació de les tasques, per definició automatitzades, de més o menys complexitat, són un element consubstancial a l'aprofitament de les tecnologies actualment disponibles que, a més , està cridat a anar a més en el futur: que la regulació per mitjà de codi serà cada vegada més freqüent és un fet indiscutible (LESSIG, 2006: 81-82; Yeung, 2017: 505-523). De fet, no només a anar a més sinó a ser, i convé tenir-ho ben present, la part quantitativament més rellevant de l'acció administrativa de el futur. Un futur que, ha de tenir ben present, està ja aquí en matèria d'automatització i programació d'activitats suposadament complexes i no només en activitats privades sinó en moltes on hi ha bé una supervisió pública intensa o un directe protagonisme "prestacional" per part de la mateixa Administració -conducció de cotxes automatitzada, drones que operen a partir de programació, trens sense conductor, armes modernes que decideixen quan activar-se a partir d'una programació prèviament determinada ... -.

Parafrasejant Lessig, que ho expressava d'una manera lleument diferent, podria dir-se que el codi font amb el qual s'escriuen els algoritmes que componen els programes que eval ú an cada vegada més circumstàncies i decideixen cada vegada més conseqüències jurídiques que convé associar a cada fet, a l'formar part de les eines que empra el Dret per donar resposta ai ordenar la realitat social, és també codi jurídic, però en una versió nova i més avançada: una mena de codi 2.0, que el Dret ha d'assumir com a tal la regulació haurà d'afrontar, en conseqüència, des de la plena assumpció que la regulació i concreció de l'esfera concreta dels drets i llibertats de cada un de nosaltres passa cada vegada més en la pràctica pel que determina aquestCode 2.0abans que per les vetustes previsions dels codis jurídics i declaracions de drets tradicionals (Yeung, 2017: 505-523). Sorprenentment, ha estat menys freqüent establir a partir d'aquestes premisses la conclusió directa que seria en aparença inevitable: si la programació i els algoritmes van a complir cada vegada més i de forma creixent, les funcions de preordenació efectiva de l'avaluació jurídica de les circumstàncies i fets, així com determinen i computen els elements i factors que condueixen a una determinada resposta en Dret, no hauríem d'aplicar les mateixes regles i normes d'actuació i enquadrament jurídic, o al menys els mateixos principis respecte de com s'han de fer amb garanties aquestes operacions de programació i predeterminació de la resposta,

En aquest sentit, les funcions que compleixen els tradicionals reglaments que empra l'Administració pública i els nous algoritmes, quan són utilitzats per a l'avaluació de les circumstàncies de el cas (decantació de supòsits de fet indicant quins elements han de ser tinguts en compte per a això i el pes que se'ls ha de donar) o per determinar quina ha de ser la resposta jurídica adequada (conseqüències jurídiques) són substancialment equivalents. Els reglaments, com tota norma escrita que preordena l'activitat executiva, es singularitzen precisament per la seva naturalesa normativa, pel fet que participen i innoven en la formació de l'ordenament jurídic (GARCÍA DE ENTERRÍA i FERNÁNDEZ RODRÍGUEZ, 2013: 207). Es tracta d'un fenomen universal a qualsevol exercici de el poder executiu precisament per compartir aquest tret (MUÑOZ MACHADO, 2006: 851-855), que és el que el diferencia quant a la seva naturalesa d'altres potestats administratives, com la de pura execució per mitjà d'actes administratius (MUÑOZ MACHADO, 2006: 856). Aquesta capacitat de codificar, i l'eficàcia normativa que es deriva d'ella, té a més efectes no només externs, sinó també interns, ja que la programació aprovada, tant la jurídica com la informàtica, per enquadrar com actua l'Administració hauria de vincular també, i , en primer lloc, a ella mateixa (CARRO FERNÁNDEZ-VALMAYOR, 2005: 2150-2151). com la de pura execució per mitjà d'actes administratius (MUÑOZ MACHADO, 2006: 856). Aquesta capacitat de codificar, i l'eficàcia normativa que es deriva d'ella, té a més efectes no només externs, sinó també interns, ja que la programació aprovada, tant la jurídica com la informàtica, per enquadrar com actua l'Administració hauria de vincular també, i , en primer lloc, a ella mateixa (CARRO FERNÁNDEZ-VALMAYOR, 2005: 2150-2151). com la de pura execució per mitjà d'actes administratius (MUÑOZ MACHADO, 2006: 856). Aquesta capacitat de codificar, i l'eficàcia normativa que es deriva d'ella, té a més efectes no només externs, sinó també interns, ja que la programació aprovada, tant la jurídica com la informàtica, per enquadrar com actua l'Administració hauria de vincular també, i , en primer lloc, a ella mateixa (CARRO FERNÁNDEZ-VALMAYOR, 2005: 2150-2151).

A partir d'aquesta constatació, és evident que hem de diferenciar entre el que fan certs algoritmes, o per a què empra l'Administració pública certs programes en cada cas, per tal d'identificar les necessàries diferències entre uns casos i altres. Però fins i tot a això es pot constatar una sorprenent identitat amb categories jurídiques ja molt decantades per la resposta tradicional del nostre Dret quan l'actuació estava predeterminada per normes reglamentàries tradicionals. Així, i per exemple, sempre hem distingit entre el nivell de garanties i de formalització jurídica requerit entre que unes instruccions o normes fossin indicacions de no obligat compliment -per exemple, el precedent administratiu i certes formes soft de preordenación normativa, como instrucciones o circulares en sus versiones tradicionales– y las que eran necesarias para las que eran materialmente normativas –de ahí que paulatinamente, por ejemplo, y sobre todo si materialmente son el elemento que predetermina la decisión, hayamos ido exigiendo que, cuando así sea, los instrumentos como las circulares se sometan a las reglas y garantías de las normas reglamentarias– (GALLEGO ANABITARTE, 1971: 81; MOROTE SARRIÓN, 2002: 170-182, 223-225). También nuestro Derecho diferencia entre cómo proceden los reglamentos a la hora de fijar las premisas que permiten dar pie a la actuación de la Administración y cómo proceder con la delimitación de los núcleos de certeza y esferas de incertidumbre respecto de los posibles conceptos jurídicos indeterminados que puedan aparecer en estos casos, o la incertidumbre a la hora de entender que un hecho se ha producido o no, y las reglas que encuadran reglamentariamente la decisión discrecional de la Administración, que establece consecuencias de hecho –que suele enmarcarse jurídicamente a partir del establecimiento de principios, valores y objetivos a los que ha de atender la decisión–.

Resulta obvi, per això, que no ha de donar-se la mateixa resposta a uns casos ia altres. No és el mateix un algoritme emprat únicament com a suport de la presa de decisió d'un que avalua circumstàncies per determinar si s'ha donat o no un fet que desencadena una resposta jurídica que un altre que s'estableixi, ponderant de manera computada tots els elements establerts en la programació que s'estimen pertinents per a això, la resposta jurídica que ha de donar el poder públic. Però també resulta evident que disposem de categories jurídiques ja molt decantades que diferencien aquests diferents usos, i que cadascuna d'elles disposa de regles i garanties molt consolidades sobre com, en cada cas, s'han de programar aquestes respostes. Que respecte de diversos tipus de reglaments pugui haver exigències jurídiques diferents segons les funcions materials que compleixin és alguna cosa, a hores d'ara, indiscutible (BAÑO LEÓN, 1991: 203-206). Aquesta possible diversitat en les seves funcions i efectes materials doncs, en res contradiu la rellevant conclusió provisional ja avançada: que els algoritmes emprats per l'Administració pública de manera no purament instrumental produeixen materialment els mateixos efectes que qualsevol reglament, a l'preordenar la decisió final de el poder públic i limitar l'àmbit de discreció o de capacitat de determinació dels que els han d'aplicar a partir dels postulats continguts en la programació. Són per això, no ja codi 2.0, que també, sinó més en concret reglaments en un sentit jurídic material i, per això,

Gràcies a aquesta identitat de raó comptem ja amb un important bagatge jurídic previ que podríem aprofitar per afrontar com regular els algoritmes quan són emprats per l'administració pública amb funcions de predeterminació i programació normativa. Perquè si els algoritmes són materialment reglaments el més natural seria aplicar, senzillament, les garanties jurídiques que el nostre Dret ja té establertes, i ha decantat amb el pas dels anys, per a ells. Una mesura que, a més, s'enquadraria perfectament, per garantista i acurada, amb les directrius constitucionals de precaució que hem referit abans que calia que guiaran la nostra resposta jurídica davant el fenomen. No obstant això, aquesta conclusió dista de coincidir amb el que està conformant la reacció dels ordenaments jurídics del nostre entorn, ni de l'europeu o de l'espanyol. Una reacció que, en el millor dels casos, ha centrat la discussió i les possibles solucions a la qüestió, únicament, de la publicitat de el codi -i així i amb molts matisos, cauteles i insuficiencias- sense extreure ni en aquest punt, ni en tots els altres -directament obviados- les conclusions jurídiques degudes de l'caràcter reglamentari d'aquests algoritmes i programes.

2.2. La insuficiència de la resposta jurídica europea i espanyola

Com ja s'ha apuntat, i fins a la data, la reacció del nostre ordenament jurídic davant el fenomen descrit, tant en la seva dimensió nacional com a l'europea, ha estat molt decebedor per la seva falta d'ambició així com per la seva demostrada incapacitat a l'hora afrontar la nova realitat respecte de les implicacions descrites i molt especialment pel que fa a l'establiment de garanties suficients per protegir els ciutadans davant de l'ocupació d'algorismes i programes per part de les administracions públiques. Pel que fa a nosaltres més interessa, podem detectar dues pautes complementàries, amb un punt comú d'arribada, encara que partint de diferents orígens. D'una banda, la resposta de l'ordenament jurídic espanyol, que ha anat eliminant gradualment determinades cauteles i previsions que contenien garanties genèriques a mesura que les realitats sobre les que operaven es feien més presents, és a dir, just quan més necessàries eren. La raó última d'aquesta evolució ha estat una aproximació possibilista i curt termini a el problema que, a l'constatar que aplicar aquestes garanties era difícil i podia comprometre l'evolució tecnològica de les nostres administracions públiques, ha optat per la seva desleimiento per no frenar així la possible utilització d'aquestes eines, que s'ha entès prioritari i més convenient. D'altra banda, la reacció jurídica el Dret europeu, que fins a la data s'ha vehiculat únicament a partir d'una eina: les normes en matèria de protecció de dades. Una cosa que sembla no només com francament insuficient en la pràctica sinó, a més, profundament inadequat des d'una perspectiva teòrica per fer front als problemes descrits, que només tangencialment tenen a veure amb la protecció de dades. Simplement dóna la sensació que, a manca de capacitat o voluntat per donar una resposta coherent i sistemàtica, s'ha optat per recórrer a les eines disponibles per esbossar un règim garantista de mínims. No és estrany, doncs, que els resultats siguin francament insatisfactoris. s'ha optat per recórrer a les eines disponibles per esbossar un règim garantista de mínims. No és estrany, doncs, que els resultats siguin francament insatisfactoris. s'ha optat per recórrer a les eines disponibles per esbossar un règim garantista de mínims. No és estrany, doncs, que els resultats siguin francament insatisfactoris.

2.2.1. La sorprenent involució de la legislació espanyola en matèria de garanties enfront de la utilització per part de les administracions públiques d'algorismes i programes

El Dret espanyol ha anat restringint en temps recents algunes garanties tradicionals ja antigues que en principi semblaven haver estat concebudes precisament per establir algunes cauteles i proteccions enfront de l'ocupació de mitjans tecnològics o informàtics per part dels poders públics. La Constitució Espanyola (CE), per exemple, sembla contenir previsions que d'alguna manera podem connectar amb una expressió, avant la lettre, D'aquesta proposta de translació de el principi de precaució respecte l'ocupació de mitjans tecnològics a què fèiem referència abans: l'obligació constitucionalment establerta en l'art. 18.4 CE que la llei limiti "l'ús de la informàtica per garantir (...) el ple exercici de (els) drets (dels ciutadans)". Aquesta directriu constitucional imposa doncs a legislador limitar els desenvolupaments d'aquestes tecnologies sempre que això sigui necessari per garantir una deguda protecció dels seus drets enfront de l'acció dels poders públics i l'actuació administrativa. D'altra banda, a ningú hauria de escapar-se-que amb aquesta formulació de manera implícita, i al meu parer molt encertadament,

D'una manera que s'ha de considerar bastant coherent amb aquesta previsió constitucional així interpretada, i en el que es refereix precisament a l'procediment administratiu ia l'actuació dels poders públics que pogués afectar a l'esfera de l'estatut jurídic de drets i deures dels ciutadans , el vell i ja derogat art. 45 de la Llei 30/1992, de Règim Jurídic de les Administracions Públiques i de l'procediment administratiu comú (LRJAPPAC), ens oferia una aproximació amb possibilitats molt interessants a l'assenyalar que, si bé s'havia d'impulsar l'ocupació i aplicació de qualssevol tècniques i mitjans electrònics, informàtics i telemàtics que es pogués disposar, tant en aquest moment com en el futur, aquesta aplicació havia d'acomodar sempre a les "limitacions que a la utilització d'aquests mitjans estableixen la Constitució i les lleis" (art. 45.1 LRJAPPAC, que ens remet al seu torn a la previsió constitucional ressenyada). A més, en el que era una previsió molt important per a la qüestió de l'aplicació i ús d'algoritmes, s'explicitava que "els programes i aplicacions electrònics, informàtics i telemàtics que hagin de ser utilitzats per les administracions públiques per a l'exercici de les seves potestats, hauran de ser prèviament aprovats per l'òrgan competent, el qual n'ha de difondre públicament les seves característiques "(art. 45.4 LRJAPPAC).

En un moment com 1992, en el qual, tot i que ja existien molts dels avenços tecnològics que en el seu desenvolupament posterior han canviat la manera com ens relacionats amb el món i la forma en què operen els poders públics, aquests es trobaven encara en un estat de desenvolupament incipient, el legislador planteja una regulació de la incorporació dels futurs avenços tecnològics en l'actuació dels poders públics molt assenyada, prudent i plenament coherent amb el referit mandat constitucional. Si bé les administracions públiques en l'exercici de les seves funcions podien incorporar tot tipus de novetats i millores tecnològiques, havien de fer-ho de tal manera que es traslladessin certs elements substantius i materials de les garanties vigents en matèria de procediment i exercici de potestats administratives i, en concret, tant l'aprovació explícita de l'ús de l'instrument per l'òrgan administratiu com, el que és molt important, la difusió pública de les característiques de la mateixa -i no només d'una explicació de les mateixes o dels seus elements essencials-. D'aquesta manera s'aconseguia tant responsabilitzar a qui decidia fer ús de l'eina, i més per un procediment formalitzat que podria ser objecte al seu torn d'impugnació, com es garantia la publicitat de les seves característiques. Estem davant d'una normativa que, si bé de tipus principal i necessàriament genèrica, limitada i poc detallada -també perquè estàvem en un moment de desenvolupament incipient de l'ús d'aquests instruments-, permetia entendre garantida amb poques contorsions interpretatives, per exemple,

Encara que sigui cert que a aquest text se li podria retreure no tenir la necessària "perspectiva dinàmica" (VALERO, 2016), també ho és que les "pretensions d'amplitud en la regulació" d'un precepte com el primigeni art. 45 LRJAP combinades amb regles procedimentals expressades amb independència de l'canal de comunicació emprat permetien acceptar certes solucions amb un grau de flexibilitat que la pràctica legislativa posterior, més cenyida a la regulació en concret d'aquests fenòmens, s'ha debilitat. Però sens dubte el major mèrit d'aquesta regulació és que sens dubte encertava a l'establir certes cauteles i recordar la necessitat de preservar el contingut material de les garanties tradicionals sigui quin sigui el desenvolupament tecnològic o l'eina que emprem, amb la idea de traslladar a l'acció administrativa realitzada emprant eines electròniques exactament el mateix equilibri entre eficiència, garanties i drets dels ciutadans de l'actuació realitzada emprant mitjans tradicionals. Una idea, en canvi, desapareguda de l'actual Llei 39/2015, de procediment administratiu comú (LPAC) ia la qual hauríem de tornar.

Un primer pas en la minimització de les garanties el va suposar, paradoxalment, la Llei 11/2007, de 22 de juny, d'Accés Electrònic dels Ciutadans als Serveis Públics (LAE), primer intent seriós de fer front a el mandat constitucional de canalitzar i limitar l'ús de la informàtica de manera que no suposi minves en la capacitat efectiva dels ciutadans de fer valer els seus drets, molt meritori en molts dels seus aspectes, però fallit en aquest punt. Paradoxalment, perquè aquesta norma afrontava aparentment amb aquesta mateixa actitud la regulació legal sistemàtica, per primer cop, de l'ús de mitjans electrònics per a la realització completa de tot tipus de tràmits administratius. En la norma es percebia, de fet, dels quals es dedueix també lògicament una decidida aposta pel codi obert i les alternatives no comercials ... tots ells com a fórmules jurídiques destinades, entre altres finalitats, a garantir la transparència i una millor protecció dels drets dels ciutadans. L'article 4 LAE, amb una sèrie de principis generals en total sintonia amb aquestes idees (especialment art. 4 b) i 4 i) LAE sobre igualtat i neutralitat tecnològica; o art. 4 k) sobre transparència, és una bona mostra d'aquesta orientació, reforçada amb el reconeixement (art. 6 LAE) de drets subjectius estrictes als ciutadans, en el marc de qualsevol procediment, a fer-los valer, emparant l'elecció de canal, que l'administració hagués de donar suport sempre i en tot cas a certs estàndards tecnològics i especialment a aquelles aplicacions i sistemes que usessin estàndards oberts, pels quals es mostra una clara preferència, precisament, per les seves virtuts en matèria de transparència i cognoscibilitat de l' codi (art. 6.2 k) LAE) (COTINO OS, 2008: 218-220). Un elenc de drets que, fins i tot, és jutjat com qüestionable per excessivament ambiciós i les dificultats pràctiques que plantejava a les administracions públiques en punt a la possibilitat d'elecció de sistemes i estàndard tecnològic pel ciutadà i la correlativa obligació administrativa de donar suport a el menys a les solucions de codi obert (COTINO OS, 2008: 215-218). per les seves virtuts en matèria de transparència i cognoscibilitat de el codi (art. 6.2 k) LAE) (COTINO OS, 2008: 218-220). Un elenc de drets que, fins i tot, és jutjat com qüestionable per excessivament ambiciós i les dificultats pràctiques que plantejava a les administracions públiques en punt a la possibilitat d'elecció de sistemes i estàndard tecnològic pel ciutadà i la correlativa obligació administrativa de donar suport a el menys a les solucions de codi obert (COTINO OS, 2008: 215-218). per les seves virtuts en matèria de transparència i cognoscibilitat de el codi (art. 6.2 k) LAE) (COTINO OS, 2008: 218-220). Un elenc de drets que, fins i tot, és jutjat com qüestionable per excessivament ambiciós i les dificultats pràctiques que plantejava a les administracions públiques en punt a la possibilitat d'elecció de sistemes i estàndard tecnològic pel ciutadà i la correlativa obligació administrativa de donar suport a el menys a les solucions de codi obert (COTINO OS, 2008: 215-218).

Malgrat tot això, l'art. 39 LAE suposa una primera restricció en matèria de cogniscibilidad i transparència de el codi, a l'establir quines són les concretes i exactes obligacions que ha de complir l'Administració per fer ús de programes i algoritmes a el servei de l'adopció de decisions administratives automatitzades i optar no per aquesta interpretació garantista possible amb la LRJAPPAC sinó amb una molt més modesta que es limita a exigir el previ establiment de l ' "òrgan i òrgans competents (...) per a la definició de les especificacions, programació, manteniment, supervisió i control de qualitat" al costat a la necessitat, "si escau" -el que dóna a entendre que aquest no ha d'existir sempre ni necessàriament- de designar els responsables de "auditoria de el sistema d'informació i del seu codi font". també,in fine ). En tot cas, el pas enrere és innegable, tant en qüestions estrictament formals, amb la desaparició de la necessitat d'aprovació administrativa prèvia de l'ocupació de l'eina -una cosa que permetia certs controls i fins i tot moderades possibilitats d'impugnació de tipus previ i abstracte, encara que fossin complicados- (VALERO TORRIJOS, 2019: 86-87), com materials, a deixar clar el nou text en què cap cas sembla legalment exigible la publicació íntegra de el codi.

La regulació tracta de garantir una certa possibilitat de traçabilitat dels criteris seguits per a l'adopció de la mateixa, així com la possibilitat d'auditar la programació dels mitjans tecnològics emprats (MARTÍN PRIM, 2009). Però no es té als algoritmes en qüestió com reglaments, ni es considera la seva programació d'efectes materials equivalents a la que té una predeterminació normativa de com han d'actuar les administracions públiques per descomptat, de manera que no s'estima necessària en cap cas una completa publicitat com a regla per defecte -és més, aquesta solució queda expressament exclosa amb caràcter general-. Addicionalment, i com no pot ser menys a partir d'aquestes premisses, falten també la resta de garanties addicionals que el nostre sistema associa a les normes reglamentàries. L'única cautela legalment precisa per a l'ocupació d'algoritmes és aquesta identificació dels responsables que han de definir les referides especificacions i les possibilitats d'auditoria. Són, com es pot comprendre, garanties francament insuficients, molt menors que les associades a qualsevol reglament, incoherents amb la funció efectiva que compleixen aquests algoritmes associats a la presa de decisions i, en definitiva, un marc legal que hauria estat insuficient a la llum de una entesa exigent i garantista, constitucionalment permeat en el sentit assenyalat, de la tradicional regulació de la norma de 1992. Com és obvi, aquesta reducció de garanties jurídiques va associada a l'intent de fer més habitual i més fàcil l'ús d'aquests mecanismes, en un moment en potser no es perceben tant els seus possibles riscos com els avantatges que poden aportar. Això, però, ja en aquest moment sembla evident la necessitat d'un molt més gran desenvolupament i clarificació normativa per a una millor i major garantia dels drets dels ciutadans (MARTÍN PRIM, 2009; VALERO TORRIJOS, 2013: 46-50).

No es pot dir el mateix de la legislació vigent, aprovada en un moment en què aquests riscos ja són plenament coneguts. Les lleis de 2015 que han substituït tant a l'esmentada Llei 39/1992 (LRJAP-PAC) com a la Llei 11/2007 (LAE) -que, en matèria de procediment administratiu electrònic, són fusionades en el nou text normatiu-, respectivament Llei 39/2015, de l'procediment administratiu comú de les administracions públiques (LPAC), i Llei 40/2014, de règim jurídic de l'Sector Públic (LRJSP), però, abunden en aquesta tendència cap a la reducció de garanties associades a l'ús de mitjans tecnològics per part de l'Administració amb la intenció de fer menys jurídicament costós l'ús d'aquests instruments. d'on suposadament es prenen pel legislador els elements ja consolidats a partir dels quals es procedeix ara a normar un procediment administratiu electrònic que passa a ser la regla per defecte, i més encara si prenem com a punt de referència l'art. 45 LRJAPPAC, és clarament regressiva. Regressiva a l'hora de minimitzar les obligacions de l'Administració -a garantir canals i ocupació de codi obert oa donar una garantia de servei als ciutadans- si comparem aquestes exigències amb les de la LAE de 2007 i, molt particularment, restrictiva respecte dels drets dels ciutadans a conèixer amb detall suficient i una transparència absoluta quins són els paràmetres a partir dels quals l'administració actua quan el que normativitza com serà la decisió i l'actuació pública no és una norma jurídica sinó una programació informàtica ja que consolida una línia jurídica que possibilita l'opacitat i la manca de garanties en un moment en què aquesta és cada vegada menys defensable. Així, consagra punt per punt el model de l'art. 39 LAE en el nou art. 41.2 LRJSP, sense que ni la pràctica administrativa -òbviament, molt poc generosa fins a la data- ni la creixent preocupació acadèmica i social pel creixent ocupació d'algoritmes per a la presa de decisions i les seves implicacions porti a legislador a canviar ni una coma ni a introduir una sola garantia addicional.

Art. 41.2 LRJSP: "En cas d'actuació administrativa automatitzada s'ha d'establir prèviament l'òrgan o òrgans competents, segons els casos, per a la definició de les especificacions, programació, manteniment, supervisió i control de qualitat i, si és el cas, auditoria de sistema d'informació i del seu codi font. Així mateix, s'indicarà l'òrgan que ha de ser considerat responsable als efectes d'impugnació ".

El retrocés produït en 2007 en aquest punt, i consolidat definitivament en 2015, és manifest. Les raons d'aquesta evolució, coherent amb la forma en què en general el legislador de 2015 ha anat perfilant i remodelant com havien d'equilibrar-garanties i drets dels ciutadans amb possibilitats d'actuació de l'administració en un sentit clarament beneficiós per als poders públics, facilita enormement, sens dubte, l'ocupació de mitjans electrònics o d'intel·ligència artificial per a la presa de decisions. No cal donar els detalls exactes de com i en quin sentit opera la programació, no es reconeix el dret a accedir a el codi font ni es preveu en cap cas la necessària publicació de la mateixa. Únicament s'estableix una possibilitat d'auditoria tant de sistema d'informació com de el codi font, així com la necessitat d'identificar un responsable encarregat de la supervisió de la mateixa, a més del responsable "a efectes d'impugnació" de l'actuació administrativa automatitzada en qüestió. No és estrany que, amb aquest marc legal, l'Administració pública espanyola es negui fins i tot a proporcionar accés a el codi font en casos aparent senzills on l'algoritme hauria de ser relativament poc conflictiu -vegeu la denegació a una fundació privada dedicada a tractar de promoure la transparència pública, Civio, de la font d'l'algoritme emprat per al càlcul de el bo social elèctric, avalada pel Consell estatal de Transparència i Bon Govern en la seva Resolució 701/2018, de 18 de febrer, la decisió de Tribunal Administratiu Regional Lazio-Roma de setembre de 2019, així com és d'interès la ja esmentada i important Sentència del Tribunal de Districte de l'Haia de 5 de febrer de 2020 que tampoc ha considerat imprescindible el lliurament de el codi font en seva totalitat, tot i considerar que la informació sobre el funcionament de l'algoritme en qüestió i la lògica emprada en aquest cas era manifestament insuficient). Amb tot, i més enllà que per mitjà de les normes en matèria de transparència pugui o no consolidar aquest dret a conèixer el codi font d'aquestes aplicacions emprades per adoptar decisions o per ajudar decisivament a la presa de les mateixes, no s'ha de perdre de vista la insuficiència d'una aproximació basada únicament en les exigències d'accés a la informació pública quan parlem de programes i algoritmes que tenen efectes normatius (CERRILLO I MARTÍNEZ, 2019b: 18-22). Insuficiència que fins i tot queda més de manifest si comparem la regulació el Dret europeu en la matèria, que tot i evolucionant també de manera molt poc satisfactòria per insuficient i basat només en atendre el problema de la publicació de el codi, i fins i tot arribant a conclusions de fons semblants a les de la norma espanyola, és a el menys més exigent a l'hora d'apurar les possibilitats d'aquest insuficient i limitat paradigma.

2.2.2. La decebedor pretensió europea de canalitzar la solució a el problema de l'ocupació d'algoritmes per a la presa de decisions administratives per mitjà de les normes en matèria de protecció de dades

Com s'ha indicat, aquest -insatisfactorio- punt d'arribada de la legislació espanyola és d'altra banda plenament coherent -pel que fa a l'paradigma últim en què es fonamentava amb l'únic enquadrament jurídic referit a aquestes qüestions que fins ara ha produït el Dret europeu, que prové de les normes en matèria de protecció de dades i, en concret, de l'profusament esmentat i comentat art. 22 de el Reglament General de Protecció de Dades (RGPD), de 27 d'abril de 2016 (PONCE SOLÉ, 2019: 13-15; PALMA ORTIGOSA, 2019; SANCHO LÓPEZ, 2019: 5-10, BYGRAVE, 2019). Aquest precepte, a falta de normes més exigents i concretes tant a nivell estatal com europeu- respecte a com i amb quines garanties les administracions públiques poden emprar algoritmes per adoptar decisions, o ajudar a la consideració de les mateixes, s'ha convertit en la regla jurídica més habitualment citada com a paràmetre de control de l'activitat automatitzada de l'Administració. I això, tot i que, com és obvi, es tracta d'una norma que no està dissenyada per complir tant aquesta funció, i menys encara pel que fa als poders públics, com a constituir un mer element més de les cauteles i proteccions que qualsevol encarregat d'un tractament de dades, ja sigui de el sector públic com més freqüentment una empresa privada, ha de tenir en compte i està obligat adoptar. Aquest precepte estableix que qualsevol ciutadà - "interessat", en realitat, segons el lèxic emprat pel RGPD que, com s'ha dit, dóna feina conceptes jurídics coherents amb l'aplicació de la mateixa, essencialment a l'àmbit jurídic-privat- té "dret a no ser objecte d'una decisió basada únicament en el tractament automatitzat, inclosa l'elaboració de perfils, que produeixi efectes jurídics en ell o li afecti significativament de manera semblant" (art. 22.1 RGPD) . Com es pot veure, la regulació no innova excessivament respecte de la tradicional prohibició en aquest sentit de la legislació espanyola tradicional en matèria de protecció de dades (COTINO OS, 2019: 26-28) -d'origen també europeu, d'altra banda- ia més conté, a l'igual que aquella, una via d'exclusió molt rellevant ja que és aplicable només a les decisions "únicament" basades en el tractament automatitzat, el que permet excloure ja des d'un primer moment de la prohibició a tota decisió que formalment no sigui adoptada en exclusiva per mitjà d'aquests algoritmes o programes. El que, si bé en el món jurídic-privat pot no tenir molta importància, per a l'adopció de decisions juridicoadministratives, que sempre poden ser establertes a partir d'una combinació de la decisió humana amb l'algorítmica, encara que sigui en un pla merament formal, ja permetria de seu relativitzar l'impacte d'una regulació com la descrita.

Addicionalment, és el mateix precepte el que, d'altra banda, reconeix que la previsió de l'art. 22.1 RGPD no s'aplicarà quan el tractament automatitzat sigui expressament consentit per l'interessat (art. 22.2 c RGPD): sigui necessari per a la celebració d'un contracte entre interessat i responsable de l'tractament (art. 22.2. A RGPD); o, el que és encara més important als nostres efectes, quan estigui autoritzat "pel Dret de la Unió o dels estats membres que s'apliqui a l'responsable de l'tractament i que estableixi així mateix mesures adequades per salvaguardar els drets i llibertats i els interessos legítims de l'interessat "(art. 22.2 b RGPD). Només a partir d'aquesta última previsió podem ja intuir que qualsevol determinació legislativa que habiliti a l'Administració o als poders públics a realitzar aquests tractaments va sortejar sense problemes tota possible restricció derivada de la normativa en matèria de protecció de dades. Així, i per exemple, és bastant obvi que l'habilitació genèrica continguda en l'art. 41.2 LRJSP és de seu ja suficient per si mateixa perquè no sigui necessari requerir el consentiment dels particulars / interessats / ciutadans que realitzin les administracions públiques espanyoles a l'empara de la mateixa.

Així mateix, cal assenyalar que l'art. 22.3 RGPD, d'altra banda, estableix unes garanties per als supòsits d'excepció previstos en els arts. 22.2 a) ic) -no així en el 22.2 b), el que no deixa de ser revelador- que obliguen a, en aquests casos, actuar amb una sèrie de garanties que, d'altra banda, són molt semblants a les que, encara de manera molt sintètica, estableix el legislador espanyol en la LRJSP. Així doncs, en els casos en què es produeix un tractament únicament automatitzat s'hauran d'adoptar les mesures aptes per a "salvaguardar els drets i llibertats i els interessats legítims de l'interessat, com a mínim el dret a obtenir intervenció humana per part de l'responsable, a expressar la seva punt de vista ia impugnar la seva decisió ". Com es pot veure, fins i tot si entenem aplicable aquesta exigència als supòsits de l'art. 22.2 b RGDP, no és complicat entendre que les magres garanties de l'art. 41.2 LRJSP s'han d'entendre en aquest mateix sentit. Al capdavall, no és el marc europeu tan estricte com per no permetre que la seva adequació nacional, absolutament clau en tots els casos (BYGRAVE, 2019: 251-255), pugui anar en aquesta línia. Així conformat, i encara que el Comitè Europeu de Protecció de Dades -antic grup de treball de l'art. 29 (art. 29 Working Party ) - hagi establert de forma clara tot i les diferents aproximacions doctrinals que no estem davant d'un dret de opt outsinó davant d'una veritable prohibició de tractaments de dades vinculades a l'adopció de decisions algorítmiques respecte dels ciutadans (BYGRAVE, 2019: 253; PALMA ORTIGOSA, 21-23), la garantia no afegeix molt més a la que en si mateix conté el Dret espanyol . Ni tan sols la millora és massa substancial a partir de l'recordatori que per aquesta via s'ha d'haver també total accés per part dels interessats a la informació "significativa" si són sotmesos a decisions d'aquest tipus i accés a la "lògica aplicada" i al seu significació i importància per al tractament de dades, ex arts. 13.2 f) 14 2 g) i 15 1h) RGPD combinats amb l'art. 22 RGPD (PALMA ORTIGOSA, 2019: 25-29; PONCE SOLÉ, 2019: 13-15). I això encara que s'argumenti en ocasions que la naturalesa de les mesures en protecció de dades contingudes en el RGDP obliga a adaptar les exigències i nivell i intensitat dels controls a l'afecció efectiva sobre els ciutadans, per exemple segons l'efectiva ingerència que es prevegi depenent de qui sigui l'encarregat de l'tractament de les dades i la seva posició davant els ciutadans (art. 28 RGDP) el que permetria per via interpretativa extremar aquestes exigències quan ens trobem amb tractaments públics (BYGRAVE, 2019: 255-258), és dubtós que aquesta interpretació sigui coherent amb un precepte que, precisament, estableix menys controls necessaris per a l'excepció de l'art. 22.2 b) RGPD que per les dels apartats 22.2 a) ic). Més que res perquè aquí entren en joc l'excepció referida, la concreció regulatòria nacional realitzada per l'art. 21.2 LRJSP i el fet que, fet i fet, una interpretació combinada d'aquestes dues regulacions, l'estatal i l'europea, és perfectament possible sense suposar, respecte dels tractaments públics, millores significatives. Tampoc la necessària anàlisi d'impacte que imposa la regulació europea a tot tractament de dades en l'actualitat, i encara que lògicament serà diferent respecte de les administracions públiques per la seva posició davant els particulars que quan el tractament ho faci un privat, pot constituir-se, tot i a la seva necessitat i importància, en una solució satisfactòria suficient, pel seu caràcter limitat (VALERO TORRIJOS, 2019: 88). és perfectament possible sense suposar, respecte dels tractaments públics, millores significatives. Tampoc la necessària anàlisi d'impacte que imposa la regulació europea a tot tractament de dades en l'actualitat, i encara que lògicament serà diferent respecte de les administracions públiques per la seva posició davant els particulars que quan el tractament ho faci un privat, pot constituir-se, tot i a la seva necessitat i importància, en una solució satisfactòria suficient, pel seu caràcter limitat (VALERO TORRIJOS, 2019: 88). és perfectament possible sense suposar, respecte dels tractaments públics, millores significatives. Tampoc la necessària anàlisi d'impacte que imposa la regulació europea a tot tractament de dades en l'actualitat, i encara que lògicament serà diferent respecte de les administracions públiques per la seva posició davant els particulars que quan el tractament ho faci un privat, pot constituir-se, tot i a la seva necessitat i importància, en una solució satisfactòria suficient, pel seu caràcter limitat (VALERO TORRIJOS, 2019: 88).

En definitiva, les insuficiències d'aquest instrument a efectes de garantir si més no una transparència suficient sobre els algoritmes i la programació que s'apliquen als ciutadans són innegables. En primer lloc, és força evident que en cap cas ens trobem davant d'una obligació de revelar el contingut complet i exacte de la totalitat de el codi font, sinó una molt limitada obligació d'il·lustrar sobre les línies bàsiques i criteris a partir dels quals opera la mateixa. En segon terme, i com hem vist, fins i tot aquesta limitada obligació pot ser exceptuada per raons de dret públic a la llum de el Dret europeu estricte, el que posa de manifest la capacitat de poder públic de, cas que ho jutgi necessari, d'eximir- fins i tot d'aquestes parques obligacions per mitjà d'una legislacióad hoc.Una cosa que, d'altra banda, ni tan sols resultarà necessari com a pauta general, ja que si bé es pensa fins i tot les més exigents i extremes garanties de el Reglament europeu general de protecció de dades són perfectament subsumibles i enquadrables en la regulació de Dret públic que , pel que fa a l'exercici d'autoritat i l'adopció de decisions administratives a partir de programació basada en codi informàtic més que en el tradicional codi jurídic, estableix la Llei 40/2015. En conclusió, sembla bastant voluntarista pretendre que la interposició de el Dret europeu en aquesta matèria vagi a imposar molts més límits o garanties substàncies addicionals als que ja estableix la norma espanyola i, en aquest sentit, aporta més aviat poc. De fet, i abans a contra,

En el fons, a més, tampoc pot jutjar amb excessiva duresa a l'RGDP per això. Es tracta, al capdavall, d'una norma que no està dissenyada per a establir les garanties que s'han de reconèixer als ciutadans enfront de l'exercici d'autoritat dels poders públics que pugui afectar al seu estatut jurídic, als seus drets i llibertats sinó per regular el trànsit jurídic privat i protegir consumidors enfront d'empreses que realitzen tractaments de dades cada vegada més massius. No vol dir que el RGDP no sigui important i no hagi suposat una indubtable millora respecte de la situació anterior a aquests altres àmbits, millorant i precisant alguns dels drets i garanties dels ciutadans respecte d'aquestes situacions i ampliant, per exemple, de manera substancial i necessària el catàleg de drets reconeguts davant dels que tracten les nostres dades. No obstant això, per molt important i rellevant que sigui aquesta funció, no es pot desconèixer que en el fons estem davant d'un instrument essencialment destinat a protegir ciutadans privats enfront d'altres agents privats que operen en entorns mercantils on, per exemple, i al menys des d'una perspectiva teòrica, sempre es té l'oportunitat de no contractar el servei en qüestió. D'altra banda, a més,

Les exigències que han de ser aplicables als poders públics en aquest punt haurien de ser necessàriament molt més grans que les que s'apliquen a les relacions inter-privatos, Sense que sigui necessari argumentar en excés el per què: només cal recordar el caràcter imperatiu, la nota de coactivitat, inherent a tot exercici de funcions públiques, sobretot si parlem de l'exercici de funcions d'autoritat. En la mesura que els ciutadans no tenen opció cap de sostreure als seus efectes, les normes que regulen aquests concrets usos d'algoritmes per adoptar decisions han de ser necessàriament diferents i més garantistes que les estrictament derivades de les normes en matèria de protecció de dades , que a més es refereixen només a una de les qüestions implicades en l'ocupació d'intel·ligència artificial. Que en el món privat, a falta d'altres instruments més exigents s'hagi d'emprar únicament aquesta eina no hauria de portar-nos a justificar aquesta mateixa insatisfactòria situació respecte de l'àmbit públic. Més encara si tenim en compte que aquesta situació és fins i tot qüestionable respecte de la regulació pública d'aquestes transaccions o relacions privades, ja que hi ha possibles afeccions possibles a la igualtat derivades de l'ús d'algoritmes que haurien de tenir proteccions jurídiques addicionals a les estrictament derivades de la protecció de dades. En efecte, el problema de l'equitat o la igualtat presenta en ocasions dimensions que va més enllà de la mera lògica de la protecció de dades, que busca garantir tractaments "neutres" i dels quals poder excloure, però poc pot fer respecte de problemes que tenen a veure amb la pròpia arquitectura d'algunes programacions (Fisman i LUCA, 2016; MARTÍNEZ MARTÍNEZ, 2019: 68-72; Yeung, 2019: 23-31) o possibles biaixos algorítmics que resulten en greus discriminacions (BAROCAS i selbst, 2016; KROLL, HUEY, BAROCAS, FELTEN, Reidenberg, ROBINSON i IU, 2017), particularment difícils de tractar si semblen conseqüència natural, per exemple, de el joc d'oferta i demanda processat per certes plataformes digitals (EDELMAN, LUCA, Svirsky, 2017). Davant d'aquestes situacions una regulació pública molt més exigent que vetlli per la protecció de la igualtat davant aquests tractaments privats sembla exigible (COGLIANESE i Lehr, 2017: 1191-1205) 1 . Regulació que ha de tenir en compte, d'altra banda, que els algoritmes també aporten noves possibilitats de lluita contra la desigualtat justament per la major facilitat per rastrejar les veritables raons de les seves decisions, identificar-ne els biaixos o controlar-los i evitar-los per mitjà de la programació adequada (Kleinberg, LUDWIG, MULLAINATHAN i SUNSTEIN, 2018: 154-163), però que tenint en compte aquests elements haurà de determinar quan i en quins casos els poders públics han d'establir obligacions en aquest sentit que hagin de complir els agents privats que els empren -així com, si és el cas, amb molt més sentit i, també, amb molta més exigència, plasmant regles estables sobre l'ús d'aquests instruments per part dels poders públics-.

Aquest estat de coses no és satisfactori perquè, com hem exposat ja, la programació informàtica de respostes de el poder públic davant de diverses situacions, en qualsevol de les seves modalitats, és una activitat estrictament equivalent a la seva programació jurídica. Pautar amb programes, algoritmes, en definitiva amb un codi de zeros i uns, quines són les condicions i elements que, presos en compte de manera ordenada i successiva, determinaran unes conseqüències que afectaran a l'esfera de drets i deures dels ciutadans , siguin aquestes extretes per mitjà d'algoritmes i aplicant lògiques de programació més o menys complexes i intel·ligència artificial que es declina i s'expressa per mitjà de la font o ho siguin per mitjà de regles i normes escrites a través de fórmules i conceptes jurídics que s'expressen lingüísticament i apliquen deductivament a partir de la clàssica operació de subsumpció feta pels aplicadors, és materialment el mateix. Requereix, per aquesta raó, d'una mateixes regles i garanties bàsiques i, en conseqüència, d'una correcta translació o, si es vol, traducció, materialment completa, de les garanties tradicionals respecte d'aquestes últimes ens aportaran una regulació i enquadrament satisfactori de la activitat administrativa realitzada per mitjà d'algoritmes. A més, té tota la lògica de l'món exigir-ho així,

3. LA NECESSÀRIA TRADUCCIÓ ALS ALGORISMES D'EL MARC JURÍDIC QUE DELIMITA I LIMITA L'OCUPACIÓ DE LA POTESTAT REGLAMENTÀRIA I LES GARANTIES QUE DEDUEIXEN D'AIXÒ

Davant de les insuficiències de la resposta legislativa espanyola i europea, que desconeixen la realitat materialment normativa que despleguen els algoritmes i programes emprats per les administracions públiques, es fa necessària la deguda traducció per aquestes eines de el marc jurídic tradicional dels nostres reglaments. Una "necessària reconfiguració dels conceptes jurídics a l'besllum de les singularitats tecnològiques" (VALERO TORRIJOS, 2013: 193-194) que ha d'anar molt més enllà de reconèixer la publicitat de el codi font dels algoritmes i programes emprats per a determinar o adoptar decisions , que a dia d'avui ni tan sols està garantida, sinó que ha de ser molt més ambiciosa i, garantint també i en primer lloc aquesta qüestió (dE LA COVA, 2019; PONCE SOLÉ, 2019: 34) anar fins i tot més lluny i esgotant totes i cadascuna de les conseqüències de reconèixer aquest caràcter normatiu a aquests instruments. Començant pel fet que preordenen i obliguen també a la pròpia Administració pública un cop són aprovats, com a garantia mínima d'inderogabilitat singular que per evitar un ús arbitrari dels mateixos (MELERO ALONSO, 2005: 339-340), hauria d'establir també per els algoritmes a l'igual que ho fem amb qualsevol altra programació normativa de l'actuar dels poders públics (cfr., en un sentit no idèntic però semblant, DALY, 2019: 16-19). Es tracta d'una operació jurídica que, un cop assumida aquesta identitat, no és, a més, particularment complexa,

En efecte, no sembla intel·lectualment difícil realitzar una translació de les garanties tradicionals que hem anat decantat i polint al llarg de dècades per a la millor i més garantista aplicació de les normes reglamentàries. Totes i cadascuna d'elles, com es pot argumentar sense excessives dificultats i tractarem d'exposar a continuació breument respecte de les més essencials, juguen un paper equivalent i aporten proteccions i garanties evidents també en aquest nou entorn i davant el nou paradigma tecnològic. D'alguna manera, aquesta fàcil translació, així com la lògica garantista que es deriva de forma natural d'assumir la seva necessitat, són el millor reflex i plasmació de fins a quin punt estem davant realitats -els reglaments i el seu codi jurídic tradicional; els algoritmes i el codi font en què estan escrits- equivalents.Codi 2.0 . Tant les que es refereixen a la fase d'elaboració i les regles ja previstes i consolidades en el nostre Dret que tracten d'assegurar que aquesta sigui el més adequada i precisa -a més d'allò més agreujada democràticament que sigui possible-; com les que tenen a veure amb les mesures de control i de seguretat jurídica -seguretat jurídic-informàtica, al nou paradigma-; i també les referides, finalment, als mitjans i possibilitats més estrictes i directes de defensa i protecció jurídica davant d'una possible utilització dels algoritmes que afecti un individu concret respecte d'un actuació o situació específica.

3.1. Garanties previstes per a l'elaboració de normes reglamentàries i el seu sentit en relació a l'Code 2.0: participació, publicitat, planificació normativa i avaluació ex ante i ex post de la programació de l'actuació de l'Administració pública feta per mitjà de codi font

Més enllà de la vella previsió d'una necessària aprovació administrativa de les eines tecnològiques emprades per l'Administració, continguda en la LRJAPPAC de 1992 i desapareguda amb la LAE de 2007, aquest tipus de control ex ante no només ha de recuperar-se sinó incrementar-se notablement . Per a això, en coherència amb el seu caràcter normatiu, res millor que seguir les pautes previstes a dia d'avui per a l'elaboració de reglaments, que s'ajusten a la perfecció a les necessitats de major control que requereixen els algoritmes emprats per l'Administració per a l'adopció de decisions.

L'elaboració de normes reglamentàries ha de seguir a Espanya un procediment molt determinat, normativament previst, que a Espanya en l'actualitat tenim regulat, amb caràcter bàsic, en el nou títol VI afegit a la Llei de procediment administratiu comú en la nova versió de la mateixa aprovada per la Llei 39/2015 (SANTAMARÍA PASTOR, 2016; FERNÁNDEZ SALMERÓN, 2017; Araguàs Galcerà, 2016; SERRA RODRÍGUEZ, 2019). No és el moment de fer un recorregut per l'evolució del nostre ordenament jurídic en aquesta matèria, que és cert que només tardanament ha acabat per acollir aquests postulats amb la suficient ambició -i de moment únicament en seu de principi a les normes reguladores, però sense que encara no haguem acabat de consolidar una pràctica aplicativa totalment consistent- i això després de reiterats informes i recomanacions de l'OCDE crítics amb la situació precedent (OCDE, 2010; GIMENO FERNÁNDEZ, 2018). A poc a poc, però, podem considerar que s'ha assumit plenament la conveniència de la introducció de mecanismes més exigents tant de participació com d'avaluació normativa tantex ante com ex post(Araguàs Galcerà, 2016: 54-60 i 75-77), d'establir una millor planificació normativa i d'incrementar la participació ciutadana efectiva en aquests procediments, d'una manera que aquesta vagi més enllà dels tradicionals grups d'interès en la qual descansava en excés i gairebé exclusivament el model de participació precedent (MELERO ALONSO, 2004: 240-243; REBOLLO PUIG, 1988: 99-105). Per tot això, com és sabut, és a més a dia d'avui molt habitual, gairebé ritual, ponderar positivament la gran utilitat que a efectes de vehicular una millor participació, més àmplia, més porosa i altres qualitat, té l'ús de mitjans electrònics ( RIEROL JIMÉNEZ, 2017; Boix PALOP, 2017; GIMENO FERNÁNDEZ, 2018). La qual cosa, si bé té un element tòpic, no deixa de ser cert i, alhora, il·lustrar sobre les possibilitats que els actuals mitjans tecnològics aporten per incrementar i millorar aquesta participació. Crida l'atenció que, en justa correspondència, no s'entengui necessari aplicar aquestes mateixes possibilitats als processos d'identificació i decantació de quins siguin els millors i més adequats codis i programacions algorítmiques quan aquestes han de preconformar la decisió de l'Administració.

És un lloc comú afirmar que totes aquestes mesures busquen la millora de la qualitat normativa essencialment des de dos vectors diferents que, si bé en ocasions poden conviure en certa tensió, en aquest cas es coordinen de manera força harmònica: la pretensió de millora per mitjà de una millor programació tecnocràtica, d'una banda, que portaria a millors resultats gràcies a l'existència d'una millor avaluació i coneixement per part dels experts de quines siguin les necessitats de regulació; i per una altra la recerca de millors resultats normatius a partir del seu control democràtic des dels seus orígens, permetent a la ciutadania un primerenc escrutini dels projectes de norma i la participació en els mateixos, el que al seu torn aporta un gran valor afegit respecte de la millor identificació dels objectius i finalitats que ha de perseguir la regulació (MUÑOZ MACHADO, 2006: 968-970; Araguàs Galcerà, 2016: 250-252). Aquestes dues dimensions, com s'ha dit, en ocasions poden aparèixer com conflictives, però en matèria de qualitat normativa s'alineen perfectament i les modernes exigències, en línia del que ja establert i testat en altres països, tracten d'extreure el màxim partit a les dues . Respecte de les dues, d'altra banda, l'aplicació d'aquestes exactes finalitats a l'aprovació d'algoritmes ocupables per l'Administració es trasllada mimèticament sense cap problema. però en matèria de qualitat normativa s'alineen perfectament i les modernes exigències, en línia del que ja establert i testat en altres països, tracten d'extreure el màxim partit a les dues. Respecte de les dues, d'altra banda, l'aplicació d'aquestes exactes finalitats a l'aprovació d'algoritmes ocupables per l'Administració es trasllada mimèticament sense cap problema. però en matèria de qualitat normativa s'alineen perfectament i les modernes exigències, en línia del que ja establert i testat en altres països, tracten d'extreure el màxim partit a les dues. Respecte de les dues, d'altra banda, l'aplicació d'aquestes exactes finalitats a l'aprovació d'algoritmes ocupables per l'Administració es trasllada mimèticament sense cap problema.

En efecte, des d'un pla més tècnic i expert, les previsions sobre planificació normativa, les creixents exigències sobre una avaluació ex anteque identifiqui amb precisió el que es pretenen aconseguir i les mesures més adequades per a això per mitjà d'un estudi expert i rigorós, així com l'obligació de revisar a posteriori si efectivament els objectius s'han complert o no i si les mesures adoptades s'han verificat com efectivament idònies, no són sinó instruments de millora que obliguen a ordenar i fer de més qualitat i més eficaç la feina expert de les burocràcies administratives implicades en la creació, aplicació i millora de les normes. Per la seva banda, les mesures de foment de la participació ciutadana en el procés, especialment des del moment en què es busca activament que vagi més enllà dels grups d'interès a l'ús que conformaven el tradicional procés d'informació pública a Espanya, busquen una major porositat democràtica en totes les fases de l'procés,

Així, respecte de l'anàlisi purament tècnic, més propi de les funcions que realitzen les estructures administratives i burocràtiques, no és complicat argumentar que en un entorn tan nou, de tanta incertesa, i on a més hem convingut que cal aplicar una mena de principi de precaució a la normació algorísmica -d'altra banda conseqüència d'un mandat constitucional ex art. 18.4 CE-, tant la planificació molt acurada com l'avaluació ex ante i ex postprecises i exigents són si cap més necessàries (CANALS AMETLLER, 2019). Tots i cada un dels arguments reiterats fins a la sacietat sobre els avantatges d'aquesta planificació, transparència i avaluació normatives es poden, doncs, reiterar ací amb més motiu en relació amb els algoritmes. Les possibilitats efectives de transparència i fiscalització algorítmica, de fet, estan vinculades amb el propi principi democràtic quan és per mitjà d'aquestes eines com es programa l'actuació dels poders públics (Binns, 2017), el control dels paràmetres a partir dels quals actuen no és sinó la clau que determina una transparència satisfactòria i pròpia d'una democràcia avançada (BOVENS, SCHILLEMANS i HART, 2008: 230-234; CASTELLANS CLARAMUNT, 2019). Cal recordar, a més,accés obert tenen un especial predicament en el sector de la informàtica en tots els estadis inicials de desenvolupament de noves eines tecnològiques com a mètodes participatius que incentiven la col·laboració i posada en comú per minimitzar errors i evitar, en entorns poc testats, errors o fallades d'importància (LESSIG, 2006: 151-153).

Aquesta idea, a més, condueix a altres conclusions rellevants. Per exemple, si aquesta planificació i control cura sobre la producció normativa 2.0 és en efecte tant o més important (CANALS AMETLLER, 2019), això hauria de portar també a predicar així mateix la conveniència d'un control públic molt més directe sobre aquesta producció (LESSIG, 2006: 327-329). El que no vol dir que no es pugui recórrer a ajuda o assessorament externs, però sí que el control i la decisió final sobre el producte normatiu últim ha de ser en tot cas públic, igual que tot el procés ha de ser públicament avaluat i no merament auditat de forma privada.

De la mateixa manera, sembla evident que en aquests entorns nous i en què les experiències que estem desenvolupant en no pocs casos són les primeres o fins i tot proves pilot, l'avaluació ex post de les diverses experiències serà absolutament essencial, fins i tot molt més que en altres entorns. I també per això el control i tota la informació sobre els resultats obtinguts i efectes produïts convé que siguin públics i publicables.

En definitiva, les regles tradicionals ja plenament assentades al nostre Dret al voltant de les exigències de qualitat normativa dels reglaments, sembla no només molt convenient que siguin plenament aplicables també respecte dels algoritmes que vagin a emprar els poders públics per a prendre decisions, sinó que, fins i tot, pot argumentar-se que respecte d'aquests és, si cap més important, que es respectin i extremin aquestes cauteles.

Aquests criteris també reflexions, i així mateix una molt fàcil translació de la lògica que justifica la seva importància, val la essencial participació ciutadana en aquests processos, sense que hi hagi diferències rellevants entre que aquesta operi per a la millora i control d'una programació normativa de l'acció tradicional de la Administració per mitjà d'un reglament, o que es refereixi a participar respecte de com han d'actuar els algoritmes emprats per aquesta mateixa funció. Al costat de l'caràcter essencial com a element clau per al control i la millora de tot procés de participació normativa, o les consideracions relatives a el principi democràtic, que no té sentit reiterar però que és evident que també apareixen aquí,

Si recordem, de fet, els principis de la conferència de Asilomar ja comentats, apareix una constant respecte d'aquests processos que es repeteix i que es considera sistemàticament com particularment essencial en tota programació d'aquest tipus: la radical importància, tant més com més complexa sigui la programació i més indeterminada la solució, o major l'àmbit d'incertesa -i molt especialment en tots els processos on hi ha elements de machine learning implicats en la programació i funcionament de l'algoritme o es vagin a produir fenòmens de black box-, de la identificació dels concrets valors en què es basa la intervenció normativa i dels objectius últims que es pretenen amb ella. Aquesta intervenció, d'orientació finalística i respecte de la qual els valors de base de la regulació es fan si cap més importants, és difícil negar fins a quin punt resulta bàsic que estigui el més agreujada possible democràticament. En efecte, si la funció dels mecanismes de participació en aquests processos és contrapesar i millorar l'estricta avaluació tècnica de tall burocràtic amb una relegitimació democràtica en tots els casos, en un context com el de la programació algorísmica aquesta funció és encara més important . Tant més que la incertesa sigui més gran, els possibles efectes de "caixa negra" també més importants i, per això,

Com es pot veure, no resulta difícil, doncs, argumentar que totes i cadascuna de les raons per les quals ens hem anat dotant d'un cada vegada més exigent procés d'elaboració de normes reglamentàries concorren també, de manera fins i tot més intensa -per la referida situació d'incertesa inicial en què estem i la inexistència de solucions tècniques ja clarament assentades, d'una part; i la importància crucial de la identificació correcta dels objectius amb els quals programar les intel·ligències artificials més avançades- respecte dels algoritmes. Contrasta aquesta constatació amb una regulació vigent -art. 41.2 LRJSP i art. 22 RGPD- que en canvi no presten massa atenció a aquesta dimensió ni, per descomptat, estableixen obligacions positives en aquest sentit.

No entendre que algoritmes i programes són a tots els efectes materials normes jurídiques quan actuen materialment com a tals té doncs efectes molt negatius respecte d'aquest camp i permet que es consentin i assumeixin l'aplicació de les mesures de mínims ex art. 41.2 LRJSP i art. 22 RGPD, amb diversa ambició i intensitat, de manera molt poc ordenada, de vegades no prou reflexionada o avaluada i en res fiscalitzada a partir dels procediments pautats i preestablerts d'avaluació normativa a l'ús. El recurs a la compra d'algoritmes privats o, directament, a la seva utilització sense que l'Administració pública responsable sigui tan sols la propietària de la font, no fa sinó agreujar aquest problema. Tots ells molt fàcilment resolubles si es assumís, senzillament,

3.2. Garanties de control i seguretat jurídic-informàtica: sobre la necessitat d'un accés públic total i en tot moment a el codi font, tal com passa amb qualsevol reglament

Un segon element de garantia associat a les normes reglamentàries és l'exigència que, com qualsevol norma jurídica, i per raons de seguretat jurídica evident, estiguin publicades íntegrament (MUÑOZ MACHADO, 2006: 857; MELERO ALONSO, 2005: 393-396). Només si els ciutadans poden saber exactament en tot moment quines normes i regles els són aplicables, ia partir de quina programació normativa se'ls exigirà que adeqüin la seva conducta en un sentit o un altre, és legítim poder extreure conseqüències jurídiques dels incompliments o permetre una acció coactiva als poders públics amb base a aquestes normes. Per aquesta raó les exigències amb la finalitat de garantir la seguretat jurídica de les normes aplicables són cada dia majors en els nostres ordenaments i es traslladen a un molt més gran escrutini de les normes reglamentàries,

Aquest vessant de el problema que venim analitzant és la que fins a la data més està posant de manifest la radical incompatibilitat entre l'aproximació pràctica que estan duent a terme les administracions públiques, i no només a Espanya, i les necessitats que es derivarien de manera inevitable i clara d'una assumpció si més no fora de mínims de l'caràcter normatiu de certs algoritmes. N'hi ha prou de considerar, per exemple, l'extremada tebior dels instruments normatius, de l'europeu RGDP a la decantació final de les regles a l'respecte a l'espanyola LRJSP, o de les resolucions judicials en aquesta matèria, que tenen per denominador comú, al menys fins a la data, considerar acceptable la no publicació d'el codi font per una sèrie de raons -garantia de el secret empresarial o de la propietat intel·lectual,ràtio decidendi de la negativa final a lliurar el codi font als investigadors i defenses que desitjaven accedir a la mateixa per analitzar possibles biaixos en el sistema de mesurament de la prohibició d'un programari propietari emprat per molts sistemes de justícia dels Estats Units com a eina de ajuda per als jutges a l'hora de determinar i concretar penes o mesures de seguretat en el molt conegut, per haver estat el primer d'aquesta ressonància ia més afectar un element tan sensible dels nostres sistemes jurídics com és la protecció de l'individu enfront de la acció penal de l'Estat, cas Loomis, fallat per la cort suprema de Wisconsin i la decisió no va ser revisada per la cort suprema dels Estats Units: MARTÍNEZ GARAY i MONTES SUAY, 2018;

DE MIGUEL BERIAIN, 2018; MARTÍNEZ GARAY, 2018).

La protecció de la propietat intel·lectual, de fet, s'hagi entre algunes de les raons que habitualment es donen en la jurisprudència de diversos països (COTINO, 2019: 36), i també, a Espanya, el que s'inscriu en la lògica pròpia de aplicar a aquests casos la Llei de transparència -el art. 14 sí que permet l'excepció per aquestes raons en lloc de l'obligació de publicació pròpia de qualsevol norma jurídica i de qualsevol reglament avui explicitada en l'art. 131 LPAC-. Més enllà de l'anàlisi detallada d'aquests casos, que no té sentit fer ara, queda clar que les raons que es donen per no publicar els algoritmes són francament insuficients segons el parer de la majoria de la doctrina (COGLIANESE i Lehr, 2017: 1209-1213 ; DE LA COVA, 2018; MARTÍNEZ GARAY, 2018: 497-499; DE MIGUEL BERIAIN, 2018; NEVA FENOLL, 2018: 140-143; DALY, 2019: 18-19). En el fons, la raó essencial per la qual no es publiquen els codis font dels algoritmes, i l'evolució legislativa que empara que així sigui, tenen a veure més amb consideracions de possibilisme que amb una anàlisi jurídica rigorosa i planteja nombrosos problemes ( LESSIG, 2006: 180-190). S'estima, simplement, i a el marge que hi hagi o no segons els casos per part dels poders públics una voluntat d'ocultació de el codi, que no és realista, assumible o convenient extremar les exigències fins a aquest punt. Que no cal per protegir suficientment els drets dels ciutadans i per això no és convenient establir una obligació tal, que generaria costos que dificultarien i encaririen l'adopció d'aquestes tecnologies.

Una altra de les raons habitualment invocades per justificar la no necessitat de publicació de el codi és, en efecte, que aquests programes i algoritmes no són sinó un suport o ajuda a la presa de decisió final, que en la pràctica segueix competint a l'humà -sigui això cert materialment o no- i que, per això, segueixen sense ser estrictament reglaments. Com ja hem assenyalat, són conegudes algunes decisions ja adoptades als Estats Units en aquesta línia, que de nou apareix a la controvertida solució donada a el ja comentat cas Loomis , ja que la majoria que nega accés a la font fa servir parcialment aquest argument (MARTÍNEZ GARAY, 2018: 491-492), en una jurisprudència tan criticada doctrinalment com assumida en la pràctica i acceptada per la resta d'Estats. Com assenyala encertadament el vot particular d'elcas Loomis , aquesta doctrina és molt insatisfactòria per moltes raons, la menor de les quals no és que en la pràctica cada vegada és cert en més àmbits, i ho serà en el futur en molts més, que les decisions són materialment preses pels algoritmes i la programació basada en el codi font aprovat (ROMEO CASABONA, 2018: 39-55). Tard o d'hora serà doncs necessari modificar una jurisprudència ancorada en una assumpció formal tan feble i creixentment desconnectada de la pràctica real.

En ocasions, addicionalment, s'argumenta també que la publicació d'el codi font en la seva totalitat no aporta valor afegit i no resoldria el problema per la seva complexitat (ANANNY i CRAWFORD, 2018: 983-985; Zerilli, KNOTT, Maclaurin i GAVAGHAN, 2018) i fins i tot pot plantejar més conflictes i inconvenients que beneficis (DE LAAT, 2017). Així, amb proporcionar els criteris que assenyala l'art. 41.2 LRJSP o les orientacions bàsiques sobre la "lògica seguida" per la programació de la qual parla el RGPD seria més que suficient, sent tot detall o informació addicional superflu donada la complexitat de la font i el seu contingut tècnic, que no aportaria res addicional, se'ns diu, a efectes de control. És aquest un argument, però, també profundament insatisfactori, ja que si tan irrellevant i intranscendent és el codi font en si mateix, raó de més per entendre que no hauria d'haver problema en proporcionar-en la seva integritat, d'una banda. Mentre que, d'altra, la complexitat de el codi, d'altra banda, no és excusa, ni ho ha estat mai, per justificar la seva no publicació. Les normes jurídiques tradicionals són també, o poden ser-ho en massa ocasions, molt opaques per als no especialistes, però això no és raó perquè no es publiquin sinó, abans a contra, una situació que fa si cap més necessària la total transparència, com mitjà de garantir que al menys puguin estar a disposició potencial de qualsevol possible especialista en la matèria que pugui existir en el món amb capacitat per a entendre i comprendre tant el contingut de la programació normativa com les seves implicacions,

Fins i tot, hi ha qui ha assenyalat precedents, com la normalització industrial, de normes que el nostre Dret ha acceptat que no es publiquin en la seva integritat -o, més aviat, d'exemples de normes privades i de pagament, en el seu cas-, però convé recordar que en aquests supòsits, la solució del nostre dret ha estat ja decantada, lògicament, en el sentit que si aquestes normes les assumeix l'estat i les imposa coactivament com a normes tècniques que van més enllà de la voluntat privada d'incorporar-se a una estructura de normalització, en aquest cas, la publicació completa de la norma sí que resulta sempre inexcusable (BAÑO LEÓN, 1991: 211-216; ÁLVAREZ GARCÍA, 2005: 1672-1675). Pretendre que en el supòsit que ens ocupa s'apliqui un criteri diferent no té, doncs, cap sentit jurídic.

Les regulacions europea i espanyola vigents, de moment, s'orienten clarament en aquesta línia restrictiva, com ja hem pogut constatar. D'una banda, no es reconeix caràcter normatiu als algoritmes, de manera que la seva possible publicació passa únicament per les normes de transparència, que permeten les excepcions ressenyades, oa partir dels requisits en matèria de protecció de dades que obliguen a informar, a l' menys, de la lògica emprada. A partir d'aquí, es pretén, a el menys, millorar per vies indirectes el control i les possibilitats de control i fiscalització, però es tracta d'residenciarlo en experts, habitualment de la mà de les consideracions que respecte d'aquestes eines només un coneixement expert pot operar aquest control eficaçment (ANANNY i CRAWFORD, 2018: 987), aplicant les consideracions que ja es van decantant sobre ètica algorísmica (COTINO OS, 2019b), En aquesta mateixa línia s'inclouen els recents principis reguladors de el Parlament Europeu en la matèria, també molt poc combatius en aquest sentit i que s'inscriuen entre els que proposen com solucions adequades, abans que una transparència total equivalent a la de les normes jurídiques, uns mecanismes complexos i molt professionals de revisió experta i auditoria pública (VELASCO RICO, 2019: 20-23), amb possibilitat fins i tot de crear una mena d'administració independent encarregada de vetllar per la correcció dels algoritmes emprats (TUTT, 2017; HOFFMANN-RIEM: 2018: 155-156) i certa tendència a considerar que l'accés als codis fonts ha de quedar restringit als poders públics, si escau (dE LAAT, 2017). Una solució,

Aquesta insatisfactòria situació és la que permet que a dia d'avui no ja és que no es considerin reglaments als algoritmes que materialment fan aquestes mateixes funcions, sinó que ni tan sols s'ha aconseguit consolidar en el Dret europeu que a el menys la publicació de el codi ha de ser sempre exigible en aquests casos (VEALE i BRASS, 2019: 134-136). A Espanya, com hem vist, la regulació legal provoca que se segueixi avalant a dia d'avui la possibilitat de no publicació dels algoritmes que aplica l'Administració als ciutadans pel que fa, per exemple, apareguin raons relacionades amb la propietat intel·lectual de el codi - cas Civio ja comentat- i per moltes altres raons -el algoritme VioGén 2d'alerta en casos de violència de gènere tampoc s'entén que es pugui difondre per concórrer altra excepció de les possibles en la Llei de transparència, relatiu a la necessitat de no donar dades que puguin posar en risc de l'esbrinament o persecució de delictes o fins i tot de faltes administratives-, que poden ser tantes com la imaginació de l'aplicador requereixi per a justificar la necessitat puntual de l'opacitat emparant-se en raons d'eficàcia (ZARSKY, 2016). En definitiva, actuar a partir únicament d'exigències derivades de les normes de transparència resulta francament insuficient (CERRILLO I MARTÍNEZ, 2019B: 18-22; MARTÍNEZ MARTÍNEZ, 2019: 74-75) i ens condueix a una situació que jurídicament no pot sinó considerar com insatisfactòria. Una cosa que, senzillament, se superaria només amb assumir que aquests actuen materialment com reglaments en aquests casos i que, per això, com a tals han de ser tractats també a aquests efectes. Una idea, això sí, que a poc a poc comença a obrir-se pas en el món acadèmic dels països amb una tradició més aferrada a les garanties pròpies d'el model continental i que ja comença a lliscar en algunes decisions d'òrgans de control (per exemple, el Consell d'Estat italià, en les seves decisions 2270/2019, 8472/2019 i 30/2020 sembla anar per aquesta línia; sobre el cas alemany i el control per administracions independents, HOFFMANN-RIEM: 2018: 155-157).

En el fons, i com ja s'ha assenyalat, les raons per acceptar aquest estat de coses -situació en la qual, de moment, sorprenentment, ens trobem-, com ja s'ha dit, són alienes a el Dret ia la seva lògica. No tenen tant a veure amb raons jurídiques sinó econòmiques, d'una banda; o, de l'altra, són directament conseqüència de la referida pèrdua per part de el sector públic de gairebé tot control sobre la innovació, que cada vegada més és responsabilitat de el sector privat. Això fa que el cost d'aplicar aquestes exigències sigui sensiblement més gran que el de no aplicar-les, i que les administracions públiques prefereixin operar d'aquesta manera, en greu fallida de les institucions i garanties jurídiques més bàsiques i claus del nostre sistema, simplement perquè no volen assumir el retard respecte de les possibilitats tecnològiques més avançades,

Davant d'aquesta situació, ha de ser assenyalat que les garanties jurídiques no són necessàriament barates. És més, no ho han estat mai. Ni les que aquí es proposen, ni les tradicionals. I cal recordar també que, tot i costoses, la seva no respecte sol comportar també costos considerables a mig i llarg termini. La garantia jurídica de l'efectiva possibilitat de revisió dels codis fonts en la seva integritat per part de qualsevol ciutadà és essencial per permetre un escrutini per part no només dels individus implicats, sinó també de tercers, permetent potencialment una fiscalització realitzada per qualsevol persona - i també per qualsevol expert- i constitueix un element vital per poder tenir una efectiva i completa comprensió de l'funcionament dels algoritmes emprats pels poders públics (HOFFMANN-RIEM: 2018: 148-151; Yeung, 2019: 28-29). Només així podem aspirar a una fiscalització prou exigent com per poder estar segurs que posem a la nostra disposició totes les possibilitats que permetin desentranyar com funcionen exactament els programes aplicats pels poders públics i per detectar, identificar o denunciar possibles errors entre els valors i finalitats perseguits pels mateixos o la realitat de l'execució de el programa i si s'ajusta a aquells, biaixos estadístics o probabilístics indesitjats introduïts pel programa, possibles discriminacions o, senzillament, simples errors.

De fet, el cost social de no permetre aquest examen és probablement molt més gran que el d'assumir cert retard a mesura que l'Administració s'adapta tecnològicament amb més lentitud per fer-ho respectant aquestes regles tradicionals, atesos els potencials efectes perniciosos dels algoritmes, ja molt estudiats, en múltiples esferes de la mateixa. Sobretot si donem valor, com fan els nostres ordenaments, a principis com el de precaució ia les garanties dels ciutadans, incloent la igualtat davant la llei. Des d'aquest punt de vista, de nou, es pot assenyalar que aquesta garantia tradicional no només és que sigui necessari que s'apliqui enterament també als algoritmes, sinó que és particularment important que així sigui pels efectes especialment greus per a minories i determinades persones que s'operi només una publicació parcial dels seus criteris com la que actualment s'accepta. Per tot això, resulta de nou molt convenient jurídicament assumir que aquests algoritmes, aquestes programacions informàtiques, actuen i operen, senzillament, com reglaments i que com a tals han de ser tractats, sent publicats íntegrament. La millor manera d'aconseguir-ho, de nou, passa per l'expedient jurídic, relativament senzill, d'assumir la seva naturalesa normativa i reglamentària. com reglaments i que com a tals han de ser tractats, sent publicats íntegrament. La millor manera d'aconseguir-ho, de nou, passa per l'expedient jurídic, relativament senzill, d'assumir la seva naturalesa normativa i reglamentària. com reglaments i que com a tals han de ser tractats, sent publicats íntegrament. La millor manera d'aconseguir-ho, de nou, passa per l'expedient jurídic, relativament senzill, d'assumir la seva naturalesa normativa i reglamentària.

Aquesta conclusió és coherent amb l'esperit que batega en treballs com el de Julián Valero (2016) quan reclama a just "un dret per part dels ciutadans a obtenir tota aquella informació que permeti la identificació dels mitjans i aplicacions utilitzades, de l' òrgan sota el control romangui el funcionament de l'aplicació o el sistema d'informació; havent d'incloure, així mateix, en el seu objecte no només el coneixement de l'resultat de l'aplicació o sistema informàtic que l'afecti específicament al seu cercle d'interessos sinó, a més i sobretot, l'origen de les dades emprades i la naturalesa i l'abast de l'tractament realitzat, és a dir, com el funcionament d'aquells pot donar lloc a un determinat resultat "o amb els dels que han reclamat assumir plenament el valor normatiu dels reglaments a efectes de garantir la completa publicitat de el codi (DE LA COVA, 2018; PONCE SOLÉ, 2019: 34 ). Es tracta, molt probablement, de l'aspecte dels tractats sobre el que serà més senzill trobar un acord per molt que no sigui aquesta conclusió, encara, la que ha adoptat el molt insatisfactori i insuficient marc jurídic vigent. I, també, fins i tot encara en matèria algorítmica la transparència en si mateixa pròpia d'un reglament no sigui per si mateixa suficient sinó que hagués d'anar acompanyada de mecanismes addicionals de fiscalització pública o de l'aspecte dels tractats sobre el que serà més senzill trobar un acord per molt que no sigui aquesta conclusió, encara, la que ha adoptat el molt insatisfactori i insuficient marc jurídic vigent. I, també, fins i tot encara en matèria algorítmica la transparència en si mateixa pròpia d'un reglament no sigui per si mateixa suficient sinó que hagués d'anar acompanyada de mecanismes addicionals de fiscalització pública o de l'aspecte dels tractats sobre el que serà més senzill trobar un acord per molt que no sigui aquesta conclusió, encara, la que ha adoptat el molt insatisfactori i insuficient marc jurídic vigent. I, també, fins i tot encara en matèria algorítmica la transparència en si mateixa pròpia d'un reglament no sigui per si mateixa suficient sinó que hagués d'anar acompanyada de mecanismes addicionals de fiscalització pública oalgorithm tinkering (FREEMAN, 2018: 100-15; Perel i ELKIN-Koren, 2017) donada l'enorme complexitat i els reptes que implica la transparència algorísmica i l'existència de dificultats certes de completa comprensió dels mateixos per intel·ligències merament humanes (SCANTAMBURLO, Charlesworth i CRISTINIANI, 2019: 72-73).

No obstant això, la consideració dels algoritmes com reglaments té l'avantatge, com ja s'ha dit, de permetre anar força més enllà d'aquesta única qüestió -encara deixant també zanjada-. La qual cosa és important perquè si bé el coneixement exacte, concret i detallat de qualsevol programació, dels concrets algoritmes emprats bé per adoptar decisions, bé com a eines d'ajuda a la presa de les mateixes, és absolutament essencial, en el fons també ho és , per poc que reflexionem sobre això, poder desenvolupar adequadament respecte d'ells la tercera de les garanties tradicionals lligades a les normes reglamentàries: el dret a recórrer no només qualsevol decisió basada en els programes en qüestió per no complir amb les regles vigents i ser un resultat contrari a Dret sinó el de poder també,

3.3. Reconeixement de les possibilitats de defensa i recurs, tant respecte de l'acte aplicatiu derivat de l'ocupació de l'algoritme com d'impugnació de l'algoritme en si i de les bases de la programació, ja sigui en abstracte -recurs directe-, ja com a conseqüència de la seva aplicació concreta -recurs indirecte-.

Com és sabut, una garantia jurídica comuna en els ordenaments jurídics del nostre entorn, que a Espanya també permet la nostra llei de la jurisdicció contenciosa administrativa, és la possibilitat de recurs directe o indirecte contra reglaments, per tal de verificar que s'adeqüen a la llei i als valors que aquesta vehicula no solament en un sentit general i abstracte sinó també respecte de la seva aplicació concreta (MUÑOZ MACHADO, 2006: 1299-1312; MELERO ALONSO, 2005: 422-427). Aquesta garantia té tot el sentit que es pugui establir també per als programes i algoritmes que realitzen funcions materialment normatives, i no hi hauria cap problema en què així fos si, senzillament, com venim sostenint, aquests fossin reconeguts materialment com reglaments. Tampoc seria, a més, difícil d'instrumentar procedimental o processalment, a diferència del que passaria si haguéssim de idear un règim de control i garanties diferent derivat de la previsió de l'art. 41.2 LRJSP -que, d'altra banda, a dia d'avui ningú té molt clar si pot suposar o no, encara que sembla més aviat que no, un impugnació de l'algoritme o programa emprat en si mateix, donant la sensació que només és possible atacar seus actes de aplicació-.

Els avantatges de permetre aquest tipus de controls són evidents i immediates. Amb molt poc esforç d'innovació jurídica, simplement traslladant el marc jurídic que ja disposem per als reglaments, ens dotaríamos d'en un instrument de control ex postdiversificat i desconcentrat que permetria fiscalitzar si la concreta programació amb què actua l'Administració, a l'igual que passa amb els reglaments i els recursos indirectes en l'actualitat, és ajustada a Dret i compleix o no en la pràctica amb els objectius i finalitats que jurídica i constitucionalment se'ls supraordenan. A més, l'ús d'aquesta possibilitat permet detectar i corregir aquells errors que es van posant de manifest amb la pràctica aplicativa de manera més ràpida i eficaç, expurgant de l'ordenament jurídic a aquells que es verifiqui en la pràctica que no compleixen amb els estàndards exigits. Un generós enteniment respecte dels algoritmes d'aquestes mateixes possibilitats suposaria, sens dubte, poder disposar d'una eina molt necessari de nomofilaxis respecte de l'codi 2. 0 a la qual no té sentit renunciar. I, de nou, només cal assumir que estem davant reglaments perquè es permeti acudir a aquests instruments jurídics de control tan necessaris.

4. CONCLUSIÓ PROVISIONAL I REFUTACIÓ D'ALGUNES CRÍTIQUES HABITUALS

La posició defensada en aquest treball considera, i ha tractat d'argumentar, no només que els algoritmes o programes informàtics emprats per l'Administració pública per a l'adopció de decisions són reglaments, sinó que a més és absolutament lògic, i els seus efectes molt positius, que les garanties tradicionals -totes elles- que el nostre ordenament estableix per a les normes reglamentàries es traslladin a aquests altres instruments de programació de l'actuació pública. Ens referim, com és obvi, no a qualsevol programa informàtic, que en ocasions poden ser merament instrumentals -ja hem explicat que també una calculadora a un processador de textos emprats tots dos per ajudar a prendre i plasmar una decisió administrativa són programes que funcionen a partir d'uns algoritmes determinats-, sinó als que són empleats per adoptar decisions administratives o que són suport essencial de les mateixes, bé a l'hora d'avaluar les circumstàncies concurrents -decantación de el supòsit de fet (RODRÍGUEZ DE SANTIAGO, 2016: 35-38) -, bé a la hora d'aportar valoracions o elements de judici sobre quina pugui ser la millor i més apropiada mesura a adoptar -conseqüències jurídiques- (RODRÍGUEZ dE SANTIAGO, 2016: 63-67). És en aquests casos quan aquesta programació informàtica ha de ser considerada norma reglamentària, ja que tal és la seva funció material, estrictament equivalent a la programació jurídica en què en molts casos s'integra oa la que, en molts altres, a poc a poc, aspira a substituir. bé a l'hora d'avaluar les circumstàncies concurrents -decantación de el supòsit de fet (RODRÍGUEZ DE SANTIAGO, 2016: 35-38) -, bé a l'hora d'aportar valoracions o elements de judici sobre quina pugui ser la millor i més apropiada mesura a adoptar -conseqüències jurídiques- (RODRÍGUEZ DE SANTIAGO, 2016: 63-67). És en aquests casos quan aquesta programació informàtica ha de ser considerada norma reglamentària, ja que tal és la seva funció material, estrictament equivalent a la programació jurídica en què en molts casos s'integra oa la que, en molts altres, a poc a poc, aspira a substituir. bé a l'hora d'avaluar les circumstàncies concurrents -decantación de el supòsit de fet (RODRÍGUEZ DE SANTIAGO, 2016: 35-38) -, bé a l'hora d'aportar valoracions o elements de judici sobre quina pugui ser la millor i més apropiada mesura a adoptar -conseqüències jurídiques- (RODRÍGUEZ DE SANTIAGO, 2016: 63-67). És en aquests casos quan aquesta programació informàtica ha de ser considerada norma reglamentària, ja que tal és la seva funció material, estrictament equivalent a la programació jurídica en què en molts casos s'integra oa la que, en molts altres, a poc a poc, aspira a substituir.

En conseqüència, i si són reglaments, aquests algoritmes han de ser revestits de les mateixes garanties jurídiques que hem dotat a l'exercici de la potestat reglamentària. Això no vol dir, com és obvi, que les tradicionals regles i garanties no hagin de necessitar en ocasions alguna adaptació o reelaboració respecte de com s'articulen en concret, però aquesta haurà de fer-se sempre amb la vocació de conservar la seva orientació material i l'equilibri resultant , en el sentit de el vell esquema d'incorporació de novetats tecnològiques a l'actuació administrativa que preveu la legislació de procediment de 1992 (LRJAPPAC) de permetre l'ús d'aquestes eines sempre que s'utilitzin d'una manera materialment respectuosa amb els drets i garanties dels ciutadans. Així, pot passar que, de vegades, la traducció a el nou llenguatge, l'adaptació a el nou entorn tecnològic ia les realitats socials i econòmics generades a partir de la mateixa, requereixi d'alguna lleu modulació. Com és evident, res no s'oposa en bona lògica, i tampoc en Dret, a actuar d'aquesta manera. No obstant això, la necessitat de procedir a aquestes adaptacions s'està mostrant de moment com sorprenentment excepcional. A el menys, les modulacions que s'entreveuen a dia d'avui com a imprescindibles per poder aplicar aquest criteri jurídic de forma operativa són, de moment i en l'actual context tecnològic, cridanerament escasses. Plantejat de forma llisa i clara: seria perfectament possible, a dia d'avui, establir directament a la nostra Llei de procediment administratiu que els algoritmes i programes emprats per adoptar decisions administratives o que influeixen en elles, bé en la identificació de l'supòsit de fet, bé en la determinació de les conseqüències jurídiques, són normes reglamentàries i que com a tal han de ser tractades amb caràcter general i la transformació seria possible de la nit al dia sense modificacions majors del nostre ordenament jurídic -encara que obligaria, com és evident, a certs canvis organitzatius i a el desplegament de noves unitats, així com a realitzar algunes despeses en tecnologia, res d'això té a veure amb l'esquema de funcionament estructural del nostre dret administratiu-. Cap dificultat conceptual o estructural s'oposa, en definitiva, a l'adopció de la mesura. Una mesura, a més,

Davant d'aquesta conclusió, bastant evident, se solen oposar raons de tipus conceptual que afirmen que els reglaments i els algoritmes són coses en el fons diferents i que la seva naturalesa jurídica ha de ser declinada, per això, de manera diferenciada. Crec haver deixat ja prou clar que aquesta visió no lliga amb la realitat de les funcions materials que compleixen uns i altres, de manera que no val la pena parar més atenció a aquesta qüestió, ja tancada.

Potser sí sigui necessari, en canvi, acabar aquesta reflexió donant compte breument d'un altre tipus d'objeccions relativament freqüents a la posició aquí defensada que condueix a equiparar jurídicament els algoritmes emprats per l'Administració amb els reglaments. Objeccions de tipus pràctic o operacional que podem llistar en tres contraarguments essencials que, al meu entendre, són tots ells fàcilment rebatibles.

La primera de les crítiques té a veure amb consideracions econòmiques i d'oportunitat i ja ens hem referit a ella al llarg d'aquestes reflexions. En aquest sentit, és habitual apel·lar a el cost, que s'estima seria elevadíssim, que suposaria per a les administracions públiques l'adopció d'un criteri com l'aquí defensat com a raó que en si mateixa obligaria a desestimar-lo. I, en efecte, el cost d'ús de qualsevol llicència d'ús és sempre molt menor a el cost de compra de l'algoritme o el que pot derivar del seu disseny per la mateixa administració. No obstant això, un criteri com el merament econòmic no és, al meu parer, suficient com per desestimar els arguments proporcionats. En primer lloc, perquè en el fons no es refereix a l'essència de la q ó ni nega les conclusions aquí defensades sinó que,simplement, tot i acceptant-les, considera que "no ens podem permetre" en el nou context tecnològic el nivell de garanties que el nostre Dret havia establert com a necessari respecte de l'paradigma tecnològic anterior. La qual cosa, la veritat, no resulta molt satisfactori.

A més, i de la mateixa manera que hi ha un trade-offentre una millor protecció i garantia dels nostres drets i la possibilitat de gaudir a un millor preu de la tecnologia més avançada en aquesta i altres matèries, és discutible que el punt òptim d'equilibri sigui el que ens permeti gaudir sempre d'aquesta tot a costa de aquells. Es tracta d'una qüestió, en el fons, valorativa i de preferències socials i hi ha raons per defensar que són molt més importants els drets i garanties que l'ocupació immediat de la tecnologia més avançada. Un indici d'això, sense anar més lluny, passa per assenyalar una evidència difícil de qüestionar: no sembla que la major part dels algoritmes emprats a dia d'avui per les administracions públiques siguin precisament exemples de tecnologia tan cara i avançada com per a resultar inassumible econòmicament la compra d'el programa o, si no,

Paradoxalment, i és aquest el segon argument més comú per criticar la conveniència o necessitat d'aplicar als algoritmes les garanties jurídiques habitualment associades a les normes reglamentàries en el nostre Dret, com hem vist hi ha qui directament qüestiona la necessitat de el coneixement complet i total de el codi font o de tota la programació que pugui emprar l'Administració al·legant que el seu caràcter tècnicament complex i la dificultat enorme que per a qualsevol persona normal suposa la seva comprensió fan que resulti en la pràctica indiferent tenir accés efectiu complet a el mateix o no, sobretot en entorns de xarxes neuronals / machine learning on es produeix el fenomen black boxde forma més acusada (BURRELL, 2016). No obstant això, i davant d'aquesta tesi, cal reiterar, com ja hem argumentat, que en aquests casos la necessitat d'accés a el codi és encara més gran per poder tenir la possibilitat d'accedir als fonaments i principis últimsen què es basen la programació emprada i les seves premisses -i així poder identificar si són coherents amb les finalitats suposadament perseguides, per exemple, o si hi ha riscos de desviament respecte de les mateixes-. Es tracta aquesta d'una qüestió que, d'altra banda, és tinguda per absolutament bàsica i essencial en aquests dominis, i més encara que en altres precisament perquè una bona anàlisi degudament exhaustiu de la mateixa és pràcticament l'únic mecanisme efectiu de control que podem tenir sobre l'algoritme en possibles entorns futurs de molt alta indeterminació sobre els resultats derivats de l'aplicació de l'algoritme, alguna cosa en el que hem vist que hi ha un gran acord entre els especialistes en intel·ligència artificial, de manera que posen l'èmfasi en la imperiosa necessitat de garantir el major control possible sobre aquesta fase.

Finalment, pel que si constitueix un argument crític de més interès jurídic, s'apel·la a vegades al fet que un complet accés a la programació de certs algoritmes -per exemple, els dedicats a la inspecció i control-facilitaria incompliments i fallides de la legalitat -penseu en el cas, ja ressenyat, de l'algoritme que empra el programa VioGén que empren les nostres forces i cossos de seguretat per a la detecció de pautes que permetin predir i preveure possibles casos de violència domèstica a què ja ens hem referit, així com qualsevol altre programa policial d'aquest tipus-. Es tracta d'un argument atendible, ja que la possibilitat d'enganyar el sistema ( game the system) És òbviament més gran com més informació es té sobre aquest (SCANTAMBURLO, Charlesworth i CRISTINIANI, 2019: 74). A més, no afecta només a l'àmbit jurídic-públic, sinó que també pot aparèixer respecte de relacions juridicoprivades -publicar l'algoritme que calcula la quota d'una assegurança pot portar els potencials clients a tractar de seleccionar dades o conductes que alterin el resulta en el seu favor-, encara que en aquests casos els problemes associats a aquesta qüestió són diferents, entre altres coses perquè a l'tractar-se de tractaments privats la publicitat no és necessàriament una exigència en aquestes matèries, llevat que hi hagi interessos públics en joc o sigui precisa per a evitar discriminacions vedades pel Dret -i tampoc ho eren en el passat en contextos analògics, de fet-.

A aquests efectes, però, cal recordar en primer lloc que aquest problema tampoc és en si mateix, i en essència, estrictament nou. El nostre ordenament jurídic ja ha resolt per l'entorn no electrònic aquest mateix problema i tenim des de fa temps regles que expliciten quines parts dels programes d'inspecció s'han de publicar i quins no. Regles que, precisament, busquen trobar un adequat equilibri entre les garanties de publicitat i el degut enquadrament de les activitats d'avaluació i control, a fi de prevenir excessos i arbitrarietats, i la necessitat d'ocultar els detalls concrets de la mateixa, de la seva programació o dels elements clau que en última instància determinen quins inspeccions es van a realitzar, a quines persones i per quines causes i que, en general, han permès clàusules d'apoderament molt generals en el seu marc jurídic regulador (REBOLLO PUIG, 2013: 67-69). A aquests efectes, doncs, res més senzill, de nou, que traslladar les solucions ja consolidades a el nou entorn: hauríem d'operar una distinció entre algoritmes decisoris i d'anàlisi preventiu i, simplement, aplicar respecte d'aquests últims una translació o traducció de les solucions assentades en el nostre Dret en matèria d'inspecció per als àmbits equivalents en entorns no electrònics -plans d'inspecció, per exemple, i programació de l'activitat de control (REBOLLO PUIG, 2013: 108) -.

En conclusió, crec que es poden considerar aquests contraarguments com insatisfactoris, insuficients i incapaços de qüestionar la conclusió aquí defensada, tant pel que fa a la seva correcció teòrica com pel que fa a la possibilitat i conveniència pràctica de desplegar en totes les seves dimensions . Cap d'aquestes crítiques aconsegueix qüestionar la conclusió de fons d'aquest treball, ni el seu fonament conceptual i funcional, que senzillament, però ni més ni menys, obliga a considerar que el nostre Dret ha de tractar els algoritmes i programes que fa servir l'Administració per predeterminar la seva actuació en el que afecta a ciutadans com el que són: programacions normatives, és a dir, reglaments, als quals aplicar en conseqüència -degudament traduïdes,

reglamentàries.


Els biaixos en algorismes fan mal a aquells que busquen informació sobre salut a youtube

YouTube allotja milions de vídeos relacionats amb l'assistència sanitària.

La Health Information National Trends Survey informa que el 75% dels nord-americans van a Internet primer quan busquen informació sobre temes de salut o mèdics. YouTube és una de les plataformes en línia més populars, amb milers de milions de visualitzacions cada dia, i s'ha convertit en una font important d'informació sanitària.


Diverses agències de salut pública, com els departaments estatals de salut, han invertit recursos a YouTube com a canal de comunicació sanitària. Els pacients amb afeccions cròniques de salut confien especialment en les xarxes socials, inclosos els vídeos de YouTube, per obtenir més informació sobre com gestionar les seues afeccions.


Però les recomanacions de vídeo en aquests llocs podrien agreujar les disparitats de salut existents.


S’estima que una fracció significativa de la població nord-americana té una alfabetització sanitària limitada o la capacitat d’obtenir, processar i comprendre informació bàsica sobre salut, com ara la capacitat de llegir i comprendre receptes, fulls de cita o instruccions d’alta de les clíniques de salut.


Els estudis d’alfabetització sanitària, com l’Evaluació Nacional de l’alfabetització d’adults realitzats el 2003, van estimar que només el 12% dels adults tenia habilitats d’alfabetització en salut. Això s'ha confirmat en estudis posteriors .


Sóc professor de sistemes d’informació i la meva pròpia investigació ha examinat com plataformes de xarxes socials com YouTube augmenten aquestes disparitats d’alfabetització en salut orientant els usuaris cap a contingut qüestionable.


En extreure milers de vídeos que pretenien tractar-se de diabetis, vaig verificar si la informació mostrada s’ajusta a les directrius mèdiques vàlides.

Vaig trobar que els vídeos més populars i atractius tenen menys probabilitats de tenir informació mèdicament vàlida.

Els usuaris solen trobar vídeos sobre condicions de salut mitjançant cerques de paraules clau a YouTube. A continuació, YouTube proporciona enllaços a informació mèdica autenticada, com ara els resultats més ben classificats. Alguns d’aquests són produïts per organitzacions sanitàries de renom.

Recentment, YouTube ha ajustat la manera com es mostren els resultats de la cerca, cosa que permet classificar els resultats per rellevància " i proporcionar enllaços a informació mèdica verificada .

Tanmateix, quan vaig contractar metges per veure els vídeos i valorar-los si es consideraven vàlids i comprensibles des de la perspectiva de l’educació del pacient, van valorar mal les recomanacions de YouTube.

Vaig trobar que els vídeos més populars són els que solen tenir informació fàcilment comprensible, però no sempre són mèdicament vàlids. Un estudi sobre els vídeos més populars de COVID-19 també va trobar que una quarta part dels vídeos no contenien informació mèdicament vàlida .

Tot i que els vídeos de fonts com CDC poden ser els més informatius, no sempre són els més populars. Això es deu al fet que els algoritmes subjacents a les recomanacions a les plataformes de xarxes socials estan esbiaixats cap al compromís i la popularitat.

Segons la forma en què les plataformes digitals proporcionen informació per fer consultes, és més probable que un usuari amb una alfabetització sanitària més gran descobreixca consells mèdics d’un proveïdor d’atenció mèdica de renom, com la Clínica Mayo. El mateix algorisme orientarà un usuari menys alfabetitzat cap a curacions falses o consells mèdics enganyosos.


Això pot ser especialment perjudicial per als grups minoritaris. Els estudis d’alfabetització sanitària als Estats Units han constatat que l’impacte d’una alfabetització sanitària limitada afecta desproporcionadament les minories.


No tenim prou estudis sobre l’estat de l’alfabetització sanitària entre les poblacions minoritàries, especialment a les zones urbanes . Això fa que siga difícil dissenyar comunicacions sanitàries dirigides a minories i intervencions per millorar la utilització dels recursos existents d’assistència sanitària.


També pot haver-hi barreres culturals en matèria d’ assistència sanitària en poblacions minoritàries que agreugen les barreres d’alfabetització. La insuficient educació i la manca d’autogestió de l’atenció crònica també s’han destacat com a desafiaments per a les minories.


Biaixos algorítmics

Corregir els biaixos algorítmics i proporcionar una millor informació als usuaris de plataformes tecnològiques ajudaria molt a la promoció de l’equitat.


Per exemple, un estudi pioner del projecte Gender Shades va examinar les disparitats en identificar el gènere i el tipus de pell en diferents empreses que proporcionen programari comercial de reconeixement facial. Va concloure que les empreses van poder avançar en la reducció d’aquestes disparitats una volta es van assenyalar els problemes.


Segons algunes estimacions, Google rep més de mil milions de preguntes de salut cada dia. Especialment aquells amb poca alfabetització sanitària tenen un risc substancial de trobar informació no fonamentada mèdicament, com ara mites populars o teories de la conspiració activa que no es basen en evidències científiques.


El Fòrum Econòmic Mundial ha qualificat d '"infodèmica " la desinformació relacionada amb la salut. Les plataformes digitals on qualsevol persona pot participar també les fan vulnerables a la desinformació, accentuant les disparitats en l’alfabetització sanitària, tal com demostra el meu propi treball.


Les xarxes socials i les empreses de cerca s’han associat amb organitzacions sanitàries com la Clínica Mayo per proporcionar informació validada i reduir la difusió de la desinformació . Per fer que la informació sanitària a YouTube siga més equitativa, aquells que dissenyen algoritmes de recomanació haurien d’incorporar comentaris de metges i pacients, així com d’usuaris finals .


Article original: https://theconversation.com/biases-in-algorithms-hurt-those-looking-for-information-on-health-140616


Les tecnologies d’IA, com el reconeixement facial policial, discriminen les persones de color

La policia de Detroit va detenir injustament Robert Julian-Borchak Williams el gener de 2020 per un incident de robatori de botigues que havia tingut lloc dos anys abans . Tot i que Williams no va tenir res a veure amb l’incident, la tecnologia de reconeixement facial utilitzada per la policia estatal de Michigan va “coincidir” amb una imatge granulada obtinguda d’un vídeo de vigilància a la botiga que mostra un altre home afroamericà que agafava rellotges per valor de 3.800 dòlars EUA.

Dues setmanes després, el cas es va desestimar a petició de la fiscalia. No obstant això, confiant en la pista defectuosa, la policia ja havia emmanillat i arrestat a Williams davant de la seua família, l'havia obligat a proporcionar empremtes digitals i una mostra del seu ADN, el van interrogar i el van empresonar durant la nit.

Els experts suggereixen que Williams no està sol i que d'altres han estat objecte d'injustícies similars. La controvèrsia sobre l’ús policial de Clearview AI certament subratlla els riscos de privadesa que comporta la tecnologia de reconeixement facial. Però és important adonar-se que no tots assumim aquests riscos per igual .


Formació d’algoritmes racistes

La tecnologia de reconeixement facial que s’adapta i s’adapta a les cares caucàsiques identifica i etiqueta malament sistemàticament els individus racialitzats: nombrosos estudis informen que la tecnologia de reconeixement facial és “ defectuosa i esbiaixada, amb taxes d’error significativament més altes quan s’utilitza contra persones de color ”.

Això soscava la individualitat i la humanitat de les persones racialitzades que són més susceptibles de ser identificades erròniament com a criminals. La tecnologia –i els errors d’identificació que comet– reflecteix i reforça encara més les divisions socials de llarga data que estan profundament enredades amb el racisme, el sexisme, l’homofòbia, el colonitzador-colonialisme i altres opressions entrecreuades.


Com la tecnologia classifica els usuaris

Al seu llibre que va canviar el joc de 1993, The Panoptic Sort , l’erudit Oscar Gandy va advertir que “la tecnologia complexa [que] implica la recopilació, processament i intercanvi d’informació sobre individus i grups que es genera a través de la seua vida quotidiana ... s’utilitza per coordinar i controlar el seu accés als béns i serveis que defineixen la vida en l'economia capitalista moderna ". Les forces de l’ordre l’utilitzen per arrencar sospitosos del públic en general i les organitzacions privades l’utilitzen per determinar si tenim accés a coses com la banca i l’ ocupació .

Gandy va advertir profèticament que, si no es controlava, aquesta forma de "triatge cibernètic" desfavoriria exponencialment els membres de comunitats que busquen igualtat, per exemple, grups que estiguen racialitzats o desafavorits socioeconòmicament, tant pel que fa a allò que se'ls assignaria com a com podrien arribar a entendre’s a si mateixos.

Uns 25 anys després, ara vivim amb el tipus panòptic d’esteroides. I abunden exemples dels seus efectes negatius sobre les comunitats que busquen igualtat, com la falsa identificació de Williams.

Biaix preexistent

Aquesta classificació mitjançant algoritmes s’infiltra en els aspectes més fonamentals de la vida quotidiana, provocant la violència tant directa com estructural.

La violència directa que va viure Williams es fa palesa immediatament en els fets relacionats amb la seua detenció i detenció, i els danys que va experimentar són evidents i es poden remuntar a les accions de la policia que va optar per confiar en la pista de la tecnologia per fer una detenció. Més violenta és la violència estructural perpetrada mitjançant la tecnologia de reconeixement facial i altres tecnologies digitals que valoren, fan coincidir, classifiquen i classifiquen les persones de maneres que augmenten els patrons discriminatoris preexistents.

Els danys per violència estructural són menys evidents i menys directes i causen lesions als grups que busquen igualtat a través de la negació sistemàtica del poder, els recursos i les oportunitats. Simultàniament, augmenta el risc directe i el dany per als membres individuals d'aquests grups.

La policia predictiva utilitza el processament algorítmic de dades històriques per predir quan i on és probable que es produeixquen nous delictes , assigna els recursos policials en conseqüència i incorpora una vigilància policial millorada a les comunitats, generalment en barris amb menys ingressos i racialitzats. Això augmenta les probabilitats que qualsevol activitat criminal (inclosa una activitat criminal menys greu que d'una altra manera no provocaria cap resposta policial) siga detectada i castigada, limitant en última instància les possibilitats de vida de les persones que viuen dins d'aquest entorn.

I l’evidència de les desigualtats en altres sectors continua augmentant. Centenars d'estudiants del Regne Unit van protestar el 16 d'agost contra els desastrosos resultats d' Ofqual , un algorisme defectuós que el govern del Regne Unit va utilitzar per determinar quins estudiants podrien obtenir la universitat. El 2019, el servei d’anuncis de microtargeting de Facebook va ajudar a desenes d’empresaris del sector públic i privat a excloure les persones de rebre anuncis de feina en funció de l’edat i el gènere. Una investigació realitzada per ProPublica ha documentat la discriminació de preus basada en la raça dels productes en línia . I els motors de cerca produeixen regularment resultats racistes i masclistes.


Perpetuar l’opressió

Aquests resultats són importants perquè perpetuen i aprofundeixen les desigualtats preexistents en funció de característiques com la raça, el gènere i l’edat. També tenen importància perquè afecten profundament la manera com ens coneixem a nosaltres mateixos i al món que ens envolta, de vegades seleccionant prèviament la informació que rebem de manera que reforce les percepcions estereotípiques. Fins i tot les mateixes empreses tecnològiques reconeixen la urgència d’aturar els algorismes per perpetuar la discriminació .

Fins ara l’èxit de les investigacions ad hoc, realitzades per les mateixes empreses tecnològiques, ha estat inconsistent. De tant en tant, les empreses implicades en la producció de sistemes discriminatoris les retiren del mercat, com quan Clearview AI va anunciar que ja no oferiria tecnologia de reconeixement facial al Canadà . Però sovint aquestes decisions resulten de l’escrutini regulador o clam públic només després que els membres de les comunitats que busquen la igualtat ja hagen estat perjudicats.

És hora de donar a les nostres institucions reguladores les eines que necessiten per solucionar el problema. Les senzilles proteccions de privadesa que depenen d’obtenir el consentiment individual per permetre que les empreses capturin i reutilitzen les dades no es poden separar dels resultats discriminatoris d’aquest ús. Això és especialment cert en una època en què la majoria de nosaltres ( incloses les pròpies empreses tecnològiques ) no podem entendre del tot què fan els algoritmes ni per què produeixen resultats específics.

La privadesa és un dret humà

Part de la solució implica el desglossament de les actuals sitges reguladores que tracten la privadesa i els drets humans com a qüestions separades. Basar-se en un model de protecció de dades basat en el consentiment passa pel principi bàsic que la privadesa i la igualtat són drets humans que no es poden contractar.

Fins i tot la Carta digital del Canadà, l’últim intent del govern federal per respondre a les mancances de l’estat actual de l’entorn digital, manté aquestes distincions conceptuals. Tracta l'odi i l'extremisme, el control i el consentiment i la forta democràcia com a categories separades.

Per fer front a la discriminació algorítmica, hem de reconèixer i emmarcar la privadesa i la igualtat com a drets humans. I hem de crear una infraestructura que siga igual d’atenta i experta en totes dues. Sense aquests esforços, la brillantor de les matemàtiques i les ciències continuarà camuflant els biaixos discriminatoris de la IA, i es pot esperar que les situacions com la infligida a Williams es multipliquen.