Professeur de droit américain, Franck Pasquale a écrit un ouvrage à charge sur la logique des boites noires. Cet ouvrage est aujourd'hui publié, traduit en Français, par Fyp Editions. Le principe de la boite noire est celui d'une décision algorithmique. Soient un ensemble de données et une question, un traitement va permettre de prendre une décision relative à cette question, sans intervention humaine et extrêmement rapidement. Cette décision peut être un simple score mais ce score peut avoir une grosse influence, par exemple un score de solvabilité va entraîner une acceptation ou un refus de prêt.
La principale critique formulée tient au manque de transparence propre à une boite noire. Les données utilisées, les algorithmes appliqués, etc. restent des mystères voire des secrets jalousement protégés, éventuellement en noyant toutes les informations relatives à ces algorithmes dans un fatras incompréhensible. L'auteur semble avoir une dent particulière contre Google qui s'introduit partout et, au final, décide de tout ou presque, en toute obscurité.
En fait, ce que professe Franck Pasquale est la fin de la démocratie. Il faudrait peut-être parler de datacratie avec les concepteurs d'algorithme comme nouveaux tyrans. Surtout, le principal risque est la pollution -volontaire ou non- des données entraînant des injustices. Et le scoring à outrance remet bien en cause le principe d'égalité de traitement voire d'Etat de droit. Le propos de l'auteur n'est cependant pas une simple condamnation de toute décision algorithmique. Mais il défend la transparence.
Il me semble qu'on peut aller plus loin.
Signaler un abusEn étant constant, permanent et régulier, en s'appliquant à tous, partout, l'algorithme crée une "pression évolutionniste" dans la société ; Selon des critères qui lui sont propres, que seul son concepteur connaît et maitrise, il encourage massivement certains profils ou comportements, en décourage d'autres. On connaît la suite depuis Darwin...
Sauf que l'évolution naturelle n'a pas de but prédéterminé, la "réponse adaptative" est une solution innovante à un problème nouveau, pas une conformité à un plan établi.
Une autre différence est la puissance uniforme, systématique, des moyens mis en œuvre, leur étendue, leur constance et donc la faible diversité qu'ils permettent, vu la cohérence du but recherché.
L'évolution "naturelle" aura produit une nature vivante équilibrée, diverse, et capable d'adaptation en cas de changements même rapides et brutaux.
Remplaçons cette nature par une vaste zone de production céréalière moderne... L'être humain y exerce une forte pression axée sur des critères de rendement. Les agronomes connaissent la réponse, en peu de temps, la terre n'y est plus qu'un substrat sans vie, toute diversité à disparu, la moindre variation du milieu peut devenir catastrophique car les capacités d'adaptation et de régénération y sont quasi nulles. Sans une activité constante et un apport de matériaux extérieurs (y compris génétique par les semences) ces terres qui étaient précédemment des plus riches, sont mortes. Aucunes mauvaises intentions derrière cette stérilisation, juste des critères simples et une pression systématique, uniforme, constante et régulière, la logique des chiffres de la technique et du commerce... celle qui précisément est à l’œuvre dans les algorithmes dont nous parlons.
On peut pour des raisons de productivité défendent ce type d'agriculture, mais est il judicieux d'appliquer ces méthodes à notre propre espèce...