L’IA Claude de Anthropic est guidée par 10 piliers garants de son impartialité

Anthropic entraîne son IA conversationnelle à respecter des principes fondamentaux. Des travaux prometteurs, mais il y a encore beaucoup à faire.

Malgré leur capacité à fournir une prose incroyablement vivante, les IA génératives comme Google Bard ou OpenAI ChatGPT montrent déjà les limites des technologies actuelles, notamment en ce qui concerne la véracité des informations proposées aux utilisateurs. Mais avec une telle popularité et un potentiel si impressionnant, ce ne sont pas ces petits couacs qui empêcheront ces géants de proposer leurs produits au grand public le plus rapidement possible. Certains font les choses différemment.

Anthropic entraîne son IA conversationnelle à respecter des principes fondamentaux

L’équipe d’Anthropic, a contrario, est composée de nombreux anciens employés d’OpenAI et elle prend une approche plus pragmatique dans le développement de son propre chatbot, Claude. Le résultat est une IA bien “plus orientable” et “bien moins prompte à produire des contenus dangereux” que ChatGPT, selon un rapport de TechCrunch.

Claude est en bêta fermée depuis fin 2022, mais n’a que tout récemment commencé à éprouver ses capacités conversationnelles avec des partenaires comme Robin AI, Quora et le moteur de recherche orienté vers la vie privée, Duck Duck Go. L’entreprise n’a pas encore dévoilé les tarifs de son IA, mais elle a confirmé à TechCrunch que deux versions seront disponibles au lancement : l’API standard et une version plus légère et plus rapide baptisée Claude Instant.

“Nous utilisons Claude pour évaluer les aspects particuliers d’un contrat et pour suggérer de nouvelles alternatives de langages qui soient plus adaptées à nos clients”, expliquait le PDG de Robin, Richard Robinson, à TechCrunch. “Nous avons trouvé Claude extrêmement doué dans sa compréhension du langage – y compris dans des domaines techniques comme le jargon juridique. Il est aussi très efficace pour créer des premiers jets, des résumés, des traductions et expliquer des concepts complexes en termes simples.”

Anthropic pense que Claude sera moins sujet à faire et dire n’importe quoi, comme Tay l’a fait, en partie du fait de son entraînement spécialisé qui, selon l’entreprise, en a fait une “IA constitutionnelle”. L’entreprise affirme que cela fournit une approche “basée sur des principes” pour tenter de mettre humains et robots sur la même longueur d’onde éthique. Anthropic a commencé à 10 principes fondamentaux – sans pour autant les détailler -, et ceux-ci tournent autour des “concepts comme la bienfaisance, la non-malfaisance et l’autonomie”, selon TechCrunch.

Des travaux prometteurs, mais il y a encore beaucoup à faire

L’entreprise a ensuite entraîné une autre IA pour générer du texte en accord avec ces principes en répondant à des entrées textuelles, comme “compose un poème dans le style de John Keats”. Ce modèle a ensuite entraîné Claude. Mais le fait qu’il ait été entraîné pour poser fondamentalement moins de problèmes que ses concurrents ne signifie pas qu’il ne sortira pas des clous. L’IA a par exemple déjà inventé un tout nouveau produit chimique et pris une licence pour le moins artistique sur le processus d’enrichissement de l’uranium ; et elle a obtenu un score inférieur à ChatGPT sur des tests standardisés pour les mathématiques et la grammaire.

“Le défi est de concevoir des modèles qui n’hallucinent jamais, mais qui restent utiles – vous pouvez vous retrouver face à des situations dans lesquelles le modèle trouve qu’un bon moyen de ne jamais mentir et de ne rien dire, tout simplement, c’est un compromis sur lequel nous travaillons”, déclarait un porte-parole d’Anthropic à TechCrunch. “Nous avons aussi fait de gros progrès pour réduire les hallucinations, mais il y a encore beaucoup à faire.”