No confíes en ChatGPT para hacer matemáticas
Es fundamental verificar todo lo que proviene de ChatGPT, Bing Chat, Google Bard o cualquier otro chatbot. Lo creas o no, eso es especialmente cierto para las matemáticas. No asuma que ChatGPT puede hacer matemáticas. Los chatbots de IA modernos son mejores en la escritura creativa que en el conteo y la aritmética.
Los chatbots no son calculadoras
Como siempre, cuando se trabaja con una IA, la ingeniería rápida es importante. Desea brindar mucha información y diseñar cuidadosamente su mensaje de texto para obtener una buena respuesta.
Pero incluso si obtienes una respuesta lógica impecable, es posible que entrecierres los ojos y te des cuenta de que ChatGPT cometió un error en la línea de 1+1=3. Sin embargo, ChatGPT también suele tener una lógica incorrecta, y tampoco es bueno para contar.
Pedirle a un modelo de lenguaje grande que funcione como una calculadora es como pedirle a una calculadora que escriba una obra de teatro. ¿Qué esperabas? Eso no es para lo que es.
Nuestro mensaje principal aquí: es fundamental verificar dos o tres veces el trabajo de una IA. Eso va más allá de las matemáticas.
Aquí hay algunos ejemplos de ChatGPT cayendo de bruces. Utilizamos el ChatGPT gratuito basado en gpt-3.5-turbo para este artículo, así como Bing Chat, que se basa en GPT 4. Por lo tanto, aunque ChatGPT Plus con GPT 4 funcionará mejor que la versión gratuita de ChatGPT, experimentará estos problemas incluso con un chatbot de inteligencia artificial de primera línea.
ChatGPT no puede contar
ChatGPT y Bing no parecen confiables para contar listas de elementos. Parece una tarea básica, pero no confíe en obtener una respuesta confiable.
Le proporcionamos a ChatGPT una columna de números y le pedimos que contara las ocurrencias de uno de los números. (No tienes que contarte: la respuesta correcta es que el número 100 aparece 14 veces).
Incluso cuando corrige ChatGPT y se disculpa y ofrece una nueva respuesta, no necesariamente obtendrá una respuesta correcta.
ChatGPT a menudo actúa como una persona que intenta frenéticamente encubrir un error y darte una respuesta, cualquier respuesta, para sacarte de quicio. ¡En realidad es muy realista!
Como de costumbre, uno de los grandes problemas es cuán completamente seguro está ChatGPT sobre todas sus respuestas, incluso cuando te está disparando diferentes respuestas.
Probamos GPT 4 a través de Bing Chat de Microsoft y experimentamos un problema similar. Bing decidió escribir un código de Python para resolver este complicado problema, pero tampoco pudo obtener la respuesta correcta. (Bing en realidad no ejecutó el código).
ChatGPT lucha con problemas de lógica matemática
Si le das a ChatGPT un problema de palabras de matemáticas, a menudo verás extraños giros y vueltas de lógica que no te darán la respuesta correcta.
Proporcionamos a ChatGPT un problema matemático basado en frutas que refleja lo que alguien podría preguntar si estuviera tratando de reequilibrar una cartera de inversiones asignando una contribución entre diferentes fondos, o tal vez simplemente comprando muchas frutas y manteniendo una cartera basada en frutas para el inversionista hambriento.
ChatGPT comienza bien, pero rápidamente se desvía hacia una lógica que no tiene ningún sentido y no dará una respuesta correcta.
No tienes que seguir cada giro y giro para darte cuenta de que la respuesta final es incorrecta.
ChatGPT a menudo profundizará y discutirá contigo sobre sus respuestas también. (De nuevo, ese es un comportamiento muy humano).
En este caso, ChatGPT argumentó que, oye, no te dio la respuesta correcta, ¡pero te acercó a la proporción deseada de lo que estabas antes! Eso es bastante gracioso.
Para que conste, Bing Chat de Microsoft basado en GPT 4 también luchó con este problema, dándonos una respuesta claramente incorrecta. La lógica de GPT 4 también se descarrila rápidamente aquí.
Recomendamos no intentar seguir todos los giros y vueltas de la lógica; está claro que la respuesta es incorrecta.
Cuando señalamos que la respuesta de Bing era incorrecta, siguió discutiendo con nosotros en círculos, ofreciendo una respuesta incorrecta tras otra incorrecta.
ChatGPT tampoco puede hacer aritmética de manera confiable
Vale la pena señalar que ChatGPT a veces se deja llevar y también establece la aritmética básica incorrectamente. Hemos visto respuestas lógicas a problemas con aritmética incorrecta similar a 1+1=3 justo en medio de la respuesta bien razonada.
Asegúrese de verificar, verificar dos veces y verificar tres veces todo lo que obtiene de ChatGPT y otros chatbots de IA.