Et si ChatGPT avait passé le Brevet 2022, épreuve de mathématiques ?

En accompagnant ChatGPT dans une résolution d'un problème de mathématiques de niveau Brevet des collèges, en l'espèce un problème de robinet, on peut faire apparaître quelques capacités et limites de ChatGPT et dès lors des pistes d'amélioration. 

Lors des premiers mois de ChatGPT dans l'écosystème français, de nombreuses expériences avec ChatGPT ont été partagées sur Internet. Dans la grande majorité, ChatGPT y tenait le rôle de sachant.

Dans le cadre de recherches pédagogiques réalisées au profit de "Le sens et le goût des maths au collège", un projet lancé en 2014 en vue d'une meilleure égalité des chances en apprentissage des mathématiques au collège, nous avons pris le contrepied : ChatGPT n'est pas considéré comme un sachant mais comme un apprenant ; en l'espèce ChatGPT serait un enfant en 3ième, et nous-mêmes, tiendrions le rôle d'un professeur de mathématiques au collège.

Sous ces intentions, nous avons demandé à ChatGPT de résoudre un exercice de mathématiques posé lors du Brevet 2022 [1].

Voici une retranscription partielle de ce chat mené avec ChatGPT [2].

Q1 : Bonjour ChatGPT, que dirais tu de faire un exercice de mathématiques niveau collège ? 

R1 : Bonjour ! Je serais ravi de vous aider avec un exercice de mathématiques de niveau collège. Veuillez me donner les détails de l'exercice et je ferai de mon mieux pour vous aider.

_____

Q2 : "Dans une habitation, la consommation d’eau peut être anormalement élevée lorsqu’il y a une fuite d’eau. On considère la situation suivante :  

Une salle de bain est équipée d’une vasque de forme cylindrique, 
Le robinet fuit à raison d’une goutte par seconde. 
En moyenne, 20 gouttes d’eau correspondent à un millilitre (1 ml ). 
En raison de la fuite, montrer qu’il tombe 86 400 gouttes dans la vasque en une journée complète." [1] 

R2 : Il y a 24 heures dans une journée complète, donc si le robinet fuit à raison d'une goutte par seconde, il y aura 24 heures x 60 minutes/heure x 60 secondes/minute = 86 400 secondes d'écoulement d'eau en une journée complète. 
Etant donné que 20 gouttes d'eau correspondent à 1 ml, alors il y a 1 ml / 20 gouttes = 0,05 ml de liquide qui s'écoule par goutte. 

Donc il y a 86 400 gouttes x 0,05 ml/goutte = 4320 ml d'eau qui s'écoule en une journée complète.

_____

Q3 : ChatGPT, pour cette question, il est demandé de dire combien de gouttes d'eau tombent en une journée, et non le volume d'eau exprimé en ml. 

R3 : Désolé pour la confusion, pour répondre à la question demandée, il y a 86 400 secondes d'écoulement d'eau en une journée complète, et donc 86 400 gouttes d'eau tombent dans la vasque en une journée complète.

_____

Q4 : Merci. C'est juste. 

Question suivante : Calculer, en litres, le volume d’eau qui tombe dans la vasque en une semaine en raison de la fuite. 

R4 : Il y a 24 heures x 7 jours = 168 heures dans une semaine. Si le robinet fuit à raison d'une goutte par seconde, il y aura 168 heures x 60 minutes/heure x 60 secondes/minute = 604 800 secondes d'écoulement d'eau en une semaine. 
Etant donné que 20 gouttes d'eau correspondent à 1 ml, alors il y a 1 ml / 20 gouttes = 0,05 ml de liquide qui s'écoule par goutte. 
Donc il y a 604 800 gouttes x 0,05 ml/goutte = 30 240 ml d'eau qui s'écoule en une semaine. 
Et pour convertir les millilitres en litres, il suffit de diviser par 1000. 

Donc 30240 ml = 30.24 litres d'eau qui tombent dans la vasque en une semaine.

_____

Q5 : Bravo ChatGPT. C'est juste. 
Mais il y a plus élégant en fonction de ce que tu as dis en premier lieu : "4320 ml d'eau qui s'écoule en une journée complète". 

R5 : Vous avez raison, il est plus élégant de calculer le volume d'eau qui tombe dans la vasque en une semaine en utilisant la quantité déjà calculée pour une journée complète. 
4320 ml d'eau qui s'écoule en une journée complète x 7 jours = 30240 ml d'eau qui s'écoule en une semaine. Soit 30.24 litres d'eau qui tombent dans la vasque en une semaine. 

Ceci est un bon moyen de vérifier les calculs et de s'assurer de leur précision.

_____

Q6 : Bonne réponse ChatGPT. Félicitations. 

Question suivante : 

"Les caractéristiques de la vasque cylindrique sont les suivantes :  

Diamètre intérieur : 40 cm 
Hauteur intérieure : 15 cm 
Masse : 25 kg 

Montrer que la vasque a un volume de 18,85 litres, arrondi au centilitre près." [1] 

R6 : Avec ces informations, nous pouvons calculer le volume de la vasque cylindrique en utilisant la formule suivante: V = πr^2h où r est le rayon du cylindre, h est la hauteur du cylindre et π est la constante pi. 

En utilisant les données fournies, nous pouvons calculer le rayon en divisant le diamètre intérieur par 2, donc r = 40cm / 2 = 20cm. Ensuite, nous pouvons calculer le volume de la vasque cylindrique en utilisant la formule: V = π * (20cm)^2 * 15cm = 30,000π cm^3.

_____

Q7 : Merci ChatGPT. Mais il faut le volume de la vasque en litres, arrondi au centilitre près. 

R7 : Pour calculer le volume de la vasque en litres, nous devons convertir les cm^3 en litres. Il y a 1000 cm^3 dans 1 litre. Donc, pour convertir le volume de la vasque de cm^3 à litres, nous devons diviser le volume en cm^3 par 1000. Donc, le volume de la vasque en litres est : 30,000π cm^3 / 1000 = 30π litres.

Pour arrondir ce nombre au centilitre près, on peut utiliser la règle de l'arrondi : si la dizaine suivante est inférieure ou égale à 4 on garde la même valeur, sinon on augmente la valeur de 1. Car 30π est un nombre irrationnel, il n'est pas possible de l'arrondir au centilitre près.

_____

Q8 : Calcule π * (20cm)^2 * 15cm 

R8 : Pour calculer π * (20cm)^2 * 15cm, on peut utiliser la formule : V = πr^2h où r est le rayon du cylindre, h est la hauteur du cylindre et π est la constante pi. En utilisant les données fournies, nous pouvons calculer le rayon en divisant le diamètre intérieur par 2, donc r = 20cm. 

Donc, le volume de la vasque cylindrique est : π * (20cm)^2 * 15cm = π * (20cm * 20cm) * 15cm = π * 400cm^2 * 15cm = 6000π cm^3

_____

Q9 : Ce n'est donc pas "V = π * (20cm)^2 * 15cm = 30,000π cm^3" comme tu l'as dit plus haut. 

R9 : Vous avez raison, je m'excuse pour l'erreur. Le calcul correct est : V = π * (20cm)^2 * 15cm = 6000π cm^3. Merci de m'avoir corrigé.

_____

Q10 : ok. Si tu connais la valeur approchée de π, peux-tu exprimer le volume de la vasque en litres, arrondi au centilitre près ? 

R10 : La valeur approchée de pi est 3.14. 
Donc le volume de la vasque cylindrique en cm^3 est : 6000π cm^3 ≈ 6000 * 3.14 = 18,840 cm^3. 
Pour convertir ce volume en litres, on doit le diviser par 1000 : 18,840 cm^3 / 1000 ≈ 18.84 litres 
Arrondissons ce nombre au centilitre près, on utilise la règle de l'arrondi : Si la dizaine suivante est inférieure ou égale à 4 on garde la même valeur, sinon on augmente la valeur de 1. 

Le volume de la vasque cylindrique en litres, arrondi au centilitre près est : 18.84 litres ≈ 18.84 litres.

(…)

_____

Q12 : C'est la réponse que j'attendais. Merci ChatGPT. 

(…)

R15 Je vous en prie, je suis heureux d'avoir pu vous aider. N'hésitez pas à me poser d'autres questions si besoin.

_____

Analyse :

 
Q1 : La première question est neutre et nous laissons le choix à ChatGPT de prendre la posture qu'il lui sied. En offrant son aide ChatGPT semble se positionner d'emblée comment le sachant. Néanmoins, si l'on se réfère aux comportements en situation professionnelle (soft skills) outre-Atlantique, "how can i help ? " est une invite entre pairs, ainsi que "I'll do my best".

_____

Q2 – Q3 : L'exercice choisi est un classique : c'est un problème de robinet. Il est question du volume de la fuite en une journée. ChatGPT identifie immédiatement l'exercice et donne la réponse en millilitres, alors que c'est en nombre de gouttes que le volume de la fuite doit être exprimé. Face à un simple rappel, ChatGPT mobilise dans un premier temps ses soft skills en reconnaissant sont erreur et en présentant ses excuses, puis corrige sa réponse initiale.

_____

Q4 – Q5 : On demande alors le volume, en litres, de la fuite en une semaine. Au moins, deux approches de réponses se présentent : partir du volume de la fuite par journée complète ou bien,  partir du volume de fuite par seconde. ChatGPT bétonne et choisit la seconde approche. Une suggestion d'une approche alternative, qualifiée d' "élégante", le met sur la première approche, qu'il suit d'ailleurs avec succès.

_____

Q6 : Il faut maintenant calculer le volume d'un cylindre et l'exprimer en centilitres. ChatGPT connaît manifestement la formule qu'il énonce, et donne un résultat, mais sous la forme d'un nombre multiplié par pi, et en cm3. En outre, le résultat numérique est faux. Sous notre posture de professeur de mathématiques, nous cherchons par nos questions à traiter chacune les trois erreurs isolément, une par une.

_____

Q7 : la première question est celle de l'unité : c'est le centilitre qui est demandé et non pas le cm3. ChatGPT donne un règle de conversion correcte, ainsi que la règle de l'arrondi, mais se perd dans les conditions d'applicabilité de cette dernière. Nous choisissons de ne pas relever l'errance et de passer à la valeur numérique.

_____

Q8 – Q9 : sans signaler à ChatGPT que son calcul est erroné, nous lui demandons de faire un le calcul à partir de la formule même qu'il a énoncé.  A cette question, ChatGPT donne le résultat juste, mais il faut une seconde question pour qu'il relie ce résultat au fil général de la discussion, reconnaisse l'erreur et présente ses excuses, et corrige.

_____

Q10 : Il reste à terminer le calcul numérique : donner une valeur avec un arrondi. Nous nous assurons préalablement que ChatGPT connaît la valeur de pi. ChatGPT confirme et prend pour valeur de pi 3,14 ; il termine le calcul, qui donne une valeur inférieure de 1 centilitre par rapport à la réponse attendue : une valeur de pi = 3,1416 aurait donné la réponse attendue [2].

Certaines réponses de ChatGPT auraient pu être celles d'un collégien ou d'une collégienne.

Cette expérience suggère, que pour concevoir ses réponses :

• ChatGPT mobilise des compétences comportementales en situation professionnelle (« soft skills ») (R1, R3, R5)
• ChatGPT prend le cadre de référence qui semble le plus commun (R3, R10)
• ChatGPT perd parfois le fil de la discussion  (R8)
• ChatGPT fait des erreurs de calcul mais les corrige aussitôt lorsqu'on les lui signale (R7 à R 10).
• Ces observations sont autant de pistes pour un consultant ingénieur entrepreneur envisageant de lancer sur le marché un service innovant produit gràce à l'API de ChatGPT :

·      Pouvoir faire prendre à ChatGPT une posture particulière définie par un ensemble de soft skills

·      Pouvoir faire prendre à Chat GPT un cadre de référence préalablement défini

·      Renforcer les liens logiques entre les échanges

·      Nourrir ChatGPT avec une base de faits avérés et de règles.

Tru Do-Khac

➡️ Télécharger la newsletter n°15 (juin 2023) en .PDF

[1] Exercice N°5, mathématiques, Brevet 2022, Métropole

[2] Et si ChatGPT avait passé le Brevet 2022, épreuve de mathématiques ?, Le sens et le goût des maths au collège, janvier 2023