Arrêtez d'utiliser des logiciels de détection d'IA !

Vous avez sûrement déjà entendu parler de ces outils disponibles pour la plupart gratuitement en ligne. Leur promesse ? Vous dire si un texte, un document, un mail ou un message que vous avez reçu a été généré avec l'aide de l'intelligence artificielle.

De nombreuses structures ont adopté ces outils comme des références et des prétextes pour s'assurer que ce qui est écrit restera produit d'une main humaine.

Sauf que pour l'instant, ces outils sont TOUT sauf fiables, et rares sont ceux qui le savent ou en tiennent compte. Ainsi, certaines productions entièrement humaines se retrouvent affublées d'un "90% intelligence artificielle", et d'autres copier-coller ChatGPT sont identifiés "70% humain", de manière arbitraire.

J'ai ainsi fait plusieurs tests pour écrire cet article et les résultats sont sans appel.

Premier outil : Quillbot/Scribbr.fr

Cet outil français permet selon leur site de "vérifier gratuitement un nombre illimité de textes d'une longueur maximale de 1 200 mots afin de trouver des contenus IA". J'ai donc demandé à Gemini de rédiger un mail quelconque, sorti d'un échange professionnel classique, et de faire en sorte qu'il ait l'air humain. Voici le prompt exact :

"Génère un mail, issu d'un échange professionnel quelconque, adressé à Cynthia. Le mail demande l'avis de Bernard, le manager de Cynthia, sur le dossier LAMBERT, car ton manager, Laetitia, est actuellement en arrêt maladie. Le mail doit être rédigé de manière naturelle, professionnelle et humaine, afin de ne pas être détecté par les logiciels de détection d'IA".

Voici le mail généré par Gemini :

Je vous laisse admirer le verdict de Quillbot :

Deuxième outil : MyDetector

Sur le même principe que QuillBot, MyDetector se targue d'être le détecteur d'IA "le plus précis pour le contenu généré par ChatGPT, Gemini, Claude et d'autres outils populaires de rédaction/paraphrase IA". Verifions ensemble cela mais dans l'autre sens.

Je vais rédiger un mail professionnel à la main, classique, et nous allons voir le résultat qui est donné par MyDetector.

Voici le mail :

"Emmanuel,

Je te confirme que ta situation est similaire à celle de tous les agents de la collectivité.

Même si la délibération porte à croire que cette règle serait différente, dans la réalité de l'application de cette dernière, nous avons la ligne de récompenser les agents de la même manière, conformément à ce qui a été décidé en conseil municipal.

Je peux entendre ta frustration concernant ce que tu perçois comme une injustice - et tu n'es pas le seul à nous en avoir fait part. Pour autant, le cadre restreint auquel une commune est soumise nous amène à faire des choix qui visent à stabiliser les effectifs et à pouvoir prévoir la situation financière sur plusieurs années.

De plus, tu n'es pas sans savoir que l'élection municipale ayant amené un nouvel effectif à la tête de la commune, les nouveaux chantiers sont nombreux et il est difficile pour moi de pouvoir t'assurer que tes demandes seront examinées par les élus avant un long moment.

Si tu as d'autres interrogations, je suis évidemment disponible pour que l'on échange afin de trouver une issue favorable à cette incompréhension mutuelle.

Cordialement".

Je vous l'accorde, ce mail n'est pas des plus léger ni des plus chaleureux, pour autant ce peut être un mail générique envoyé par un service ressources humaines parmi les dizaines de sollicitations qu'il peut recevoir par jour.

Voici la réponse de MyDetector :

Troisième outil : JustDone

Essayons avec un dernier outil, JustDone, avec le premier mail rédigé à 100% par Gemini. Voici le résultat : 

JustDone a réussi à détecter (pas à 100% mais quand même) que le mail était généré par IA ! Cela nous fait 1/3 de réponses correctes, autant dire pas assez pour être utilisés comme des outils sûrs et fiables. 

Ces sites web, en attendant d'être beaucoup plus fiables, doivent être donc être mis de coté selon moi, en tout cas pour la détection de texte par IA, car des décisions ou des remarques injustes pourraient se produire à cause de leur faible fiabilité. 

L'éléphant dans la pièce : L'utilisation des données 

L'angle mort de ces sites web sur lesquels de nombreuses personnes y insèrent des données d'entreprises, de collectivités ou même personnelles, c'est la confidentialité. Comment sont utilisés les textes collés et les documents insérés ? Sont-ils utilisés pour entraîner les modèles, revendre des données personnelles ? Chaque site a son business model, entre vente d'abonnements et pub à regarder avant d'avoir son résultat, les différentes solutions utilisées sont une véritable jungle illisible, qui peut très vite créer des problèmes de confidentialité quand sollicités de manière quotidienne et par des structures entières.

Si vous souhaitez donc absolument garder ces logiciels dans votre workflow (ce que je ne vous conseille pas), privilégiez des solutions qui tournent en interne, sans accès à Internet, ou sinon en ligne mais européennes, afin de limiter les risques de fuites.