"IA" est un terme vague qui peut englober presque n'importe quel algorithme, donc un vendeur va tout le temps te dire qu'il y a de l'IA dans son aspirateur dés qu'il y a le moindre capteur.

Les aspirateurs automatiques vont du truc très simple qui fait de la spirale et tourne à gauche en cas de collision à des choses plus élaborées qui font une carte de leur environnement. Je ne pense pas qu'ils aient besoin de deep learning pour ça, j'imagine qu'il y a déjà suffisamment à faire en piochant juste dans les algos connus de SLAM

Le droit d'auteur est déjà pas adapté à Internet, y a aucun moyen qu'il ne soit pas largué vis à vis de l'IA. J'essaye de pas trop suivre, sachant que de toutes façons ils vont nous emmerder avec des jugements perchés et sans aucune logique. Quelques éléments:

1. Une cour US a reconnu que les images générées par des IAs n'étaient pas copyrightable, ce qui vaut sûrement (mais je ne suis pas avocat) pour tout contenu généré. Les artistes pensent que c'est une victoire, je pense que c'est super positif pour l'open source, je pense qu'ils vont surement revenir en arrière là dessus tellement ça emmerde des boites privées.

2. Les artistes ne sont pas contents qu'on entraîne des IAs sur leurs images. Ça a l'air d'être légal pourtant. Je ne pense pas que légalement on puisse arguer que les images produites sont des produits dérivés. Y a des précédents à arguer, mais je ne suis toujours pas avocat. Moralement, je les comprends, mais je dois avouer que j'ai assez peu d'empathie pour les ayants droits qui pourrissent le net depuis les années 90 avec la lettre de la loi pour ne pas juste répondre "cheh" quand ça les emmerde. Ça fait 30 ans qu'on demande une réforme du copyright qui tienne compte des utilisations libres et non commerciales, quand vous avez envie, on en parle, mais on remet tout à plat.

3. Une chose emmerdante pour la communauté open source est que même si on est dans une zone grise ("surement légale mais on le saura dans 15 ans quand les recours seront épuisés") en ce qui concerne l'utilisation d'oeuvres privée: les boites privées le font derrière des portes fermées donc personne leur dit rien, mais la communauté doit assembler un dataset forcément public d'oeuvres qu'elle n'ont pas le droit de diffuser. The Pile, qui je soupçonne est utilisée par tout le monde n'est disponible que sous forme de torrent pirate. C'est chiant. Ils ont essayé d'arguer que c'est pas vraiment utilisable pour relire des oeuvres vu que c'est juste des bouts de phrases découpées dans tous les sens, mais c'est clairement une oeuvre dérivée pas diffusable.

Pour conclure, je dirais qu'en 2024, la logique du copyright est complètement obsolète et inapplicable. Ils vont tenter de juger des trucs mais c'est tellement dépendant des juges et des avocats et de l'état US dans lequel le premier jugement va être rendu, que c'est inutile de tenter de prédire où la limite de la loi va être.

C'est super chiant, on est dans une zone grise qui va durer des années, mais on peut pas vraiment attendre après un législateur dépassé et soumis aux lobbyistes pour donner des lignes claires avant qu'il soit trop tard.

Les modèles utilisés sont contraints par deux choses: les GPUs sont très optimisés pour les multiplications matricielles, et la fonction produite par ton modèle doit être dérivable vis à vis de tous ses paramètres.

En fait dans les modèles actuels, on ne pense pas en terme de neurones, mais plutôt de couches. Tu as une couche de neurones suivie d'une couche d'attention, suivie d'une couche de convolution, à laquelle tu ajoutes les entrées, etc.

On est très influencés par les opérations optimisées pour GPU, donc on va plutôt penser en terme de matrices. Deux couches de N neurones se suivant et où chaque neurone est connectée à tous ceux de la couche de N neurones suivante, c'est un "fully-connected layer" ou un perceptron. Ça s'exprime sous forme d'une matrice de poids: tu mets tes entrées sous forme de vecteur, tu multiplies par la matrice de poids et tu as généralement une "non linéarité", c'est à dire une fonction de type RELU ajoutée après la multiplication.

L'autre façon de voir un modèle est de dire que ce que tu veux est une fonction continue prenant un vecteur de dimension N_i en entrée et N_o en sortie et dérivable selon chacun de ses millions de paramètres (typiquement, les paramètres sont les poids des synapses du réseau de neurones).

On parle vraiment peu de neurones. Les devs proches de l'optimisation parlent en terme de matrices, ceux proches de la théorie mathématique en terme de fonction, et un bon modèle doit prendre les deux points de vue en considération.

Tu peux tout à fait imaginer un modèle plus proche des neurones biologiques, mais avec ces deux contraintes: fonction continue et dérivable par rapport à chaque paramètre, et si tu veux que ce soit rapide, maximum de calcul parallèle sous forme de matrices (de tenseurs en fait, qui est le petit nom des matrices de dimension supérieure à 2)

Sur les réseaux de neurone, petite anecdote en guise d'introduction. En école d'ingé, on avait des cours intéressants... et d'autres moins. En maths, pas mal de choses assez abstraites avaient du mal à m'intéresser. Dans un TD de stats où le prof a décidé de faire des calcules de proba sous forme matricielle, je m'endormais à moitié au milieu de ce qui me semblait être de la branlette intellectuelle et à un moment le prof conclue "Et voila! Ce que vous venez de faire est l'équivalent d'une phase d'apprentissage sur un réseau de neurones!" Heing?

Le réseau de neurones est une façon de présenter les choses au public, c'est une archi simple à comprendre par laquelle on commence en général mais plein d'architecture n'obéissent pas à ce paradigme.

La chose universelle dans le deep-learning c'est la descente de gradient. Pour expliquer rapidement l'idée est de voir ton modèle comme une fonction avec des entrées et des sorties. Exemple simple: le problème MNIST: je te donne une image de 24x24 (784) pixels qui représente un chiffre et le programme sort 10 probabilités: celle que le nombre soit un 0, ou un 1, ou un 2, etc.

Quand tu essayes de le résoudre, tu crées une fonction qui tente de résoudre ce problème en sortant les bonnes probas. Le deep learning c'est de créer une fonction avec plein de paramètres, impossibles à régler à la main, mais qui sachent se modifier automatiquement en fonction de l'erreur en sortie. Si tu as classifié un "5" en tant que "3" à 80% mais en tant que "5" à 75%, il s'agit de trouver les changements de paramètres qui permettent de changer ces sorties. Le truc est de faire une fonction qui soit dérivable de façon continue en fonction de tous ces paramètres.

Un réseau de neurone est une façon générique et souvent efficace de faire ça, mais il en existe d'autres. On peut arguer que VAE et mécanismes d'attention (partie cruciale des Transformers, le "T" dans GPT) ne sont pas des réseaux de neurone.

niveau hardware, est il possible d’imaginer que l’IA créé et optimise son propre système comme elle le fait pour ses algorithmes ?

Pas besoin d'imaginer. Google fait ça en software via AutoML et Nvidia a entrainé des modèles pour la conception de hardware.

Après il faut comprendre un truc: un modèle de langage moderne, c'est 2000 lignes de C. C'est rien, c'est tout petit comme programme. On a une assez bonne idée du hardware qui permet de bien optimiser les quelques opérations qui prennent du temps.

sur un ordinateur quantique, quel serait les changements ? Ya des changement de logique ?

Aucune idée! Je m'y connais beaucoup plus en LLM qu'en ordi quantique et j'ai pas envie de dire de bêtises. Si ça fonctionne un jour, les ordis quantiques boosteront clairement des algos aujourd'hui considérés trop couteux, ça va forcément aider en IA, mais je ne sais pas via quels algos.

Est ce que une IA/LLM peut etre créative ou est ce un set de probabilité ?

Est ce que la créativité est autre chose qu'un peu de hasard filtré par les expériences d'un artiste? C'est assez philosophique comme question et même les grands noms de l'IA se disputent sur ces questions. Un LLM est clairement une machine statistique qui répète des motifs, mais qui est capable de le faire à un niveau d'abstraction élevé, ce qui est (était?) considéré comme une marque d'intelligence. Se rendre compte que la cause précède l'effet est considéré comme une remarquable découverte philosophique mais n'est "que" l'observation d'un pattern à un niveau abstrait.

Peut elle générer ses propres prompts/envie ?

Par rapport aux IAs de science fiction, les LLMs actuels n'ont pas de volonté, de personnalité, (j'appelle cette partie manquante "anima", j'ai vu ça quelque part mais on dirait que seul moi utilise ce mot). On peut leur en donner, mais ça va toujours nous sembler artificiel. Il est tout à fait possible de faire jouer un rôle à un LLM et de régulièrement lui demande ce qu'il veut faire.

Nous (les devs de solutions d'IA) on a un mandat simple: que l'IA soit controllable, prédictible, qu'elle fasse ce qu'on lui demande.

Certains pensent qu'on doit faire des systèmes qui refuseront d'obéir à certaines choses, qu'elles corrigeront les biais humains automatiquement. Je suis en désaccord (soft, on peut en discuter). Si tu demandes à une IA de reproduire un système injuste, elle le fera. Mais si tu lui dis "reproduis ce système mais en en retirant le biais sexiste et raciste" elle le fera. Il faut juste reconnaître et accepter ce besoin.

Pour la déshumanisation par les algorithmes, le problème est humain, pas technique. Cette BD l'exprime mieux que moi: https://grisebouille.net/panique-algorithmique/