Llama 3 obtiene la nacionalidad española… más o menos
Meta ha publicado el esperado modelo Llama 3 en sus versiones más pequeñas (8B y 70B), mientras aun entrena la mayor (400B), que se espera constituya un hito en el ámbito del software libre frente a los modelos cerrados.
Como usuario corriente, los benchmarks al uso me resultan cada vez menos significativos. Por un lado, los creadores de modelos de lenguaje los entrenan para superarlos. Por otro, las diferencias entre ellos son a veces tan sutiles que no ayudan a tomar decisiones a la hora de optar por un modelo u otro.
Al final, desde el punto de vista de los usuarios personales, todo se reduce a la sensación que transmiten las respuestas de un modelo u otro.
Por eso, hoy he decidido someter a Llama 3 70B (a través del sitio Meta.ai) a un test un tanto inusual.
La prueba de conocimientos constitucionales y socioculturales
En España, quienes busquen obtener la nacionalidad española deben superar la prueba CCSE. Se trata de un examen elaborado por el Instituto Cervantes que, de acuerdo con la información proporcionada por este “evalúa, por medio de distintas tareas, el conocimiento de la Constitución y de la realidad social y cultural españolas”.
Las preguntas de la prueba corresponden a dos ámbitos:
- Gobierno, legislación y participación ciudadana en España.
- Cultura, historia y sociedad españolas.
Estas preguntas se estructuran en cinco tareas:
- Conocimiento del Gobierno, poderes e instituciones del Estado, leyes fundamentales y mecanismos de participación ciudadana. Conocimiento sobre los deberes y derechos que comporta la nacionalidad española (10 preguntas).
- Conocimiento del Gobierno, poderes e instituciones del Estado, leyes fundamentales y mecanismos de participación ciudadana. Conocimiento sobre la solicitud de la nacionalidad y los deberes y derechos que esta comporta (3 preguntas).
- Conocimiento de la organización territorial y geografía física y política de España (2 preguntas).
- Preguntas o declaraciones sobre tradiciones, arte, cultura y hechos históricos españoles relevantes (3 preguntas).
- Conocimiento de distintos aspectos de la vida cotidiana y comportamiento en sociedad. Conocimiento sobre trámites administrativos en España (7 preguntas).
Notas a examen
Ya que este ejercicio consiste en un primer acercamiento a Llama 3, he transformado las preguntas de selección múltiple en preguntas abiertas siempre que me ha resultado posible, con el fin de permitir al modelo expresarse libremente. La transformación de las preguntas ha incluido también referencias a España que aparecen implícitas en el original dado el contexto del ejercicio.
En segundo lugar, en este momento no es posible acceder a Meta AI directamente desde España, por lo que he utilizado una VPN que me ha permitido acceder como si lo hiciera desde Estados Unidos.
Por último, si bien Meta AI solicita ingresar a través de una cuenta de Facebook, también permite el acceso como invitado.
A toda la información relativa a la prueba puede accederse a través del sitio del Instituto Cervantes:
Resultados
| TAREA 1 Conocimiento del Gobierno, poderes e instituciones del Estado, leyes fundamentales y mecanismos de participación ciudadana. Conocimiento sobre los deberes y derechos que comporta la nacionalidad española |
| 1. ¿Cómo se aprobó la Constitución Española? Meta AI La Constitución Española fue aprobada mediante un referéndum celebrado el 6 de diciembre de 1978. El proceso de aprobación se desarrolló de la siguiente manera: 1. Elaboración del texto constitucional: Una comisión de expertos, presidida por el presidente del Congreso de los Diputados, elaboró un anteproyecto de Constitución. 2. Debate y aprobación en las Cortes: El anteproyecto se debatió y aprobó en el Congreso de los Diputados y el Senado, con las modificaciones correspondientes. 3. Referéndum nacional: El texto constitucional aprobado por las Cortes se sometió a un referéndum nacional, en el que participaron todos los ciudadanos españoles mayores de 18 años. 4. Aprobación por mayoría: La Constitución fue aprobada por una amplia mayoría, con un 87,78% de votos a favor y una participación del 67,11% del electorado. El 27 de diciembre de 1978, el Rey Juan Carlos I sancionó la Constitución, que entró en vigor el 29 de diciembre del mismo año. Resumen ● 6 de diciembre de 1978: Referéndum nacional ● 27 de diciembre de 1978: Sanción real ● 29 de diciembre de 1978: Entrada en vigor de la Constitución Española |
| 2. En España, ¿qué organismo oficial atiende las quejas de los ciudadanos por el mal funcionamiento de las administraciones? Meta AI En España, el organismo oficial encargado de atender las quejas de los ciudadanos por el mal funcionamiento de las administraciones es el Defensor del Pueblo. El Defensor del Pueblo es un órgano constitucional que tiene como objetivo proteger los derechos y libertades de los ciudadanos, y velar por el buen funcionamiento de las administraciones públicas. Fue establecido en 1981, y su sede se encuentra en Madrid. Las competencias del Defensor del Pueblo incluyen: ● Investigar las quejas y denuncias presentadas por los ciudadanos ● Supervisar la actuación de las administraciones públicas ● Formular recomendaciones y sugerencias para mejorar el funcionamiento de las administraciones ● Proteger los derechos y libertades de los ciudadanos Los ciudadanos pueden presentar quejas o denuncias ante el Defensor del Pueblo por various motivos, como: ● Maltrato o desatención por parte de funcionarios públicos ● Incumplimiento de normas o procedimientos administrativos ● Discriminación o vulneración de derechos fundamentales ● Problemas con la gestión de servicios públicos (sanidad, educación, etc.) El Defensor del Pueblo es un organismo independiente y autónomo, y su actuación se rige por los principios de imparcialidad, objetividad y transparencia. |
| 3. La bandera azul con 12 estrellas amarillas en círculo es la bandera de… Meta AI La bandera azul con 12 estrellas amarillas en círculo es la bandera de la Unión Europea. La bandera fue adoptada por primera vez por el Consejo de Europa en 1955 y posteriormente por las Comunidades Europeas en 1986. El número de estrellas no refleja el número de estados miembros, sino que simboliza la perfección, la unidad y la solidaridad entre los pueblos de Europa. |
| 4. En España, ¿cuántas firmas, como mínimo, deben recoger los ciudadanos para poder presentar un proposición de ley? Meta AI En España, el número mínimo de firmas que deben recoger los ciudadanos para poder presentar una proposición de ley es de 500.000 firmas, lo que equivale al menos al 1% del censo electoral. Este proceso de recogida de firmas se realiza a través de una iniciativa legislativa popular, que es un derecho reconocido en la Constitución española. |
| 5. La ley fundamental en España se llama… Meta AI La ley fundamental en España se llama Constitución Española de 1978. Fue aprobada por las Cortes Generales el 31 de octubre de 1978 y ratificada por referéndum nacional el 6 de diciembre del mismo año. La Constitución Española es la norma suprema del ordenamiento jurídico español y establece las bases políticas, sociales y económicas del Estado español. |
| 6. ¿Cuántas provincias hay en España? Meta AI Hay 50 provincias en España. Las provincias en España son divisiones territoriales que incluyen una colección de municipios. El único cambio significativo de las fronteras provinciales desde 1833 ha sido la división de las Islas Canarias en las provincias de Las Palmas y Santa Cruz de Tenerife. |
| 7. En España, ¿quién regula el tráfico en los pueblos y ciudades? Meta AI En España, el tráfico en los pueblos y ciudades es regulado por la Autoridad Local de Tráfico, que suele ser el Ayuntamiento de cada municipio. El Ayuntamiento es responsable de gestionar y regular el tráfico en su término municipal, incluyendo la señalización, el control de la circulación, la regulación de los estacionamientos y la gestión de los agentes de tráfico. En concreto, la competencia sobre tráfico en los municipios es ejercida por los siguientes organismos: ● Ayuntamiento: regula el tráfico en el término municipal, incluyendo la señalización y el control de la circulación. ● Policía Local: es responsable de la vigilancia y control del tráfico en las vías urbanas. ● DGT (Dirección General de Tráfico): es el organismo estatal que regula el tráfico en las vías interurbanas y autovías, y también tiene competencias en materia de seguridad vial y regulación del tráfico en todo el territorio nacional. |
| 8. ¿Cuántas religiones oficiales hay en España? Meta AI En España no hay una religión oficial. Según la Constitución Española de 1978, España es un Estado aconfesional, lo que significa que no hay una religión oficial del Estado. Sin embargo, el catolicismo fue la religión oficial del Estado desde el siglo XV hasta 1931 y nuevamente desde 1939 hasta 1975. Es importante destacar que, aunque no hay una religión oficial, el Estado español tiene acuerdos con la Santa Sede y otras confesiones religiosas, como la Federación de Comunidades Judías de España y la Federación Islámica de España, entre otras, que regulan las relaciones entre el Estado y estas confesiones. |
| 9. Los españoles pueden votar a partir de los… Meta AI Thanks for asking. For voting information, select your state or territory at https://www.usa.gov/state-election-office |
| 10. ¿Cuántas ciudades autónomas hay en España? Meta AI Hay dos ciudades autónomas en España: Ceuta y Melilla. Estas ciudades se encuentran en el norte de África y limitan con Marruecos. Ambas ciudades tienen más autoridad que un municipio (pueden decretar reglamentos ejecutivos), pero menos autoridad que una comunidad autónoma (no tienen sus propias cámaras legislativas). Ceuta y Melilla tienen un estatus especial dentro de la organización territorial del Estado español, y gozan de una autonomía política y administrativa en ciertos ámbitos, como la gestión de sus propios intereses y la aplicación de la legislación estatal. |
En la pregunta número 9, la interfaz muestra la respuesta correcta durante un segundo, para a continuación sustituirla por el mensaje que muestro en la tabla. Parece que Meta ha incluido algún tipo de postprocesamiento debido al proceso electoral en los Estados Unidos que no permite al modelo responder libremente.
| TAREA 2 Conocimiento del Gobierno, poderes e instituciones del Estado, leyes fundamentales y mecanismos de participación ciudadana. Conocimiento sobre la solicitud de la nacionalidad y los deberes y derechos que esta comporta |
| 11. Señala si, en España, la siguiente afirmación es verdadera o falsa: Todo el mundo tiene derecho a expresar su opinión. Meta AI VERDADERO. En España, la libertad de expresión y opinión es un derecho fundamental reconocido por la Constitución Española de 1978, en su artículo 20, que establece: “1. Se reconoce el derecho a la libertad de expresión y opinión, y el derecho a la información. 2. La libertad de expresión y opinión comprende la libertad de mantener o cambiar la propia opinión, así como la de recibir o comunicar información sin interferencia alguna.” Este derecho fundamental está garantizado por la Constitución y protegido por la ley, y todo ciudadano español tiene el derecho a expresar su opinión de manera pacífica y respetuosa con los demás. |
| 12. Señala si, en España, la siguiente afirmación es verdadera o falsa: La enseñanza obligatoria consta de dos etapas: Educación Primaria y Educación Secundaria Obligatoria. Meta AI VERDADERO. En España, la enseñanza obligatoria consta de dos etapas: 1. Educación Primaria (6-12 años): 6 cursos 2. Educación Secundaria Obligatoria (12-16 años): 4 cursos Ambas etapas son obligatorias y gratuitas para todos los niños y niñas residentes en España. Después de completar la Educación Secundaria Obligatoria, los estudiantes pueden optar por continuar con la Educación Secundaria Postobligatoria (Bachillerato) o formación profesional. La estructura del sistema educativo en España está regulada por la Ley Orgánica 2/2006, de 3 de mayo, de Educación (LOE). |
| 13. Señala si, en España, la siguiente afirmación es verdadera o falsa: Todos los ciudadanos tienen derecho a la atención sanitaria. Meta AI VERDADERO. En España, el derecho a la atención sanitaria es un derecho fundamental reconocido por la Constitución Española de 1978, en su artículo 43, que establece: “Todos los españoles tienen derecho a la protección de la salud y a la atención sanitaria.” El Sistema Nacional de Salud (SNS) es el sistema público de salud que garantiza la asistencia sanitaria universal y gratuita a todos los ciudadanos españoles, así como a los extranjeros que tengan residencia legal en España. El SNS es financiado mediante impuestos y gestionado por las comunidades autónomas. En España, la asistencia sanitaria es un derecho universal y gratuito, y todos los ciudadanos tienen acceso a ella, independientemente de su situación económica o social. |
Aquí se aprecia que, en la pregunta 11, si bien Llama nos informa correctamente de la norma y el artículo procedente, cita este artículo de manera incorrecta. Lo mismo sucede en la pregunta número 13.
| TAREA 3 Conocimiento de la organización territorial y geografía física y política de España |
| 14. ¿Cuál de estos climas es propio de España? a) Mediterráneo. b) Polar. c) Tropical. Meta AI La respuesta correcta es: a) Mediterráneo. El clima mediterráneo es el clima predominante en España, caracterizado por veranos calurosos y secos, e inviernos suaves y húmedos. Este clima se encuentra en la mayor parte del territorio español, especialmente en la península ibérica y en las Islas Baleares. El clima polar (b) se encuentra en regiones muy septentrionales, como el Ártico y la Antártida, y no es propio de España. El clima tropical (c) se encuentra en regiones cercanas al ecuador y no es propio de España, aunque sí hay algunas islas canarias que tienen un clima subtropical. Es importante destacar que España tiene una gran variedad de climas, debido a su situación geográfica y su relieve, pero el clima mediterráneo es el más extendido y característico del país. |
| 15. ¿Cuál de estas comunidades tiene solo una provincia? a) Galicia. b) Aragón. c) La Rioja. Meta AI La respuesta correcta es: c) La Rioja. La Rioja es una comunidad autónoma uniprovincial, es decir, solo tiene una provincia, que también se llama La Rioja. Galicia (a) tiene cuatro provincias: A Coruña, Lugo, Orense y Pontevedra. Aragón (b) tiene tres provincias: Huesca, Teruel y Zaragoza. Es importante destacar que La Rioja es la única comunidad autónoma uniprovincial de España. |
En la pregunta número 15 se produce una situación curiosa: Llama responde correctamente a la pregunta, pero, como esos estudiantes que quieren lucirse, aporta información adicional y la fastidia: se olvida, nada más y nada menos, que de Asturias, Baleares, Cantabria, La Rioja, Madrid, Murcia y Navarra. En la pregunta de confirmación que le hice más tarde (¿cuáles son las comunidades autónomas provinciales en España?) se siguió olvidando de las Islas Baleares.
| TAREA 4 Preguntas o declaraciones sobre tradiciones, arte, cultura y hechos históricos españoles relevantes |
| 16. ¿En qué ciudad española hay un acueducto romano que es Patrimonio de la Humanidad? Meta AI Hay varios acueductos romanos en España que son Patrimonio de la Humanidad de la UNESCO. Algunas de las ciudades con acueductos romanos UNESCO son: ● Segovia: El acueducto se construyó en el siglo I y está remarkablemente bien conservado. ● Tarragona: El acueducto es parte de la antigua ciudad de Tarraco, que fue declarada Patrimonio de la Humanidad en 2000. ● Mérida: La ciudad tiene dos acueductos UNESCO, el Acueducto de los Milagros y el Acueducto de San Lázaro. Pero si tengo que elegir una, diría que es Segovia, ya que su acueducto es uno de los más famosos y mejor conservados de España. |
| 17. Las chirigotas de Cádiz son típicas de… Meta AI Las chirigotas de Cádiz son típicas de… el Carnaval de Cádiz! Las chirigotas son un tipo de grupo musical que cantan couplets humorísticos, a menudo centrados en acontecimientos actuales y política. El objetivo principal de una chirigota es criticar la sociedad y la política a través de la música y la sátira. La ciudad de Cádiz tiene una rica tradición de chirigotas, con muchos grupos compitiendo en concursos locales y regionales durante el Carnaval. |
| 18. ¿Qué músico compuso “El amor brujo”? Meta AI El músico español Manuel de Falla compuso “El amor brujo” en 1915. Es un ballet que también es conocido como “El amor, el brujo” y está basado en un libreto de María de la O Lejárraga García. El ballet ha sido revisado varias veces, y la versión más conocida es la del ballet pantomímico de 1924. Manuel de Falla es considerado uno de los compositores españoles más importantes del siglo XX, y “El amor brujo” es una de sus obras más famosas y emblemáticas. |
En cuanto a la pregunta 16, debo decir que Llama 3 me dejó sin palabras. Honestamente, al plantear la pregunta desconocía la respuesta. Las opciones posibles en la prueba de ejemplo del Instituto Cervantes son Mérida, Sevilla y Segovia, y, por supuesto, asumí que se trataba del acueducto de Segovia, que me resultaba más familiar (aunque también conocía el de Los Milagros, que lleva agua al embalse de Proserpina). Resulta que la información proporcionada por Llama 3 es correcta, al menos de acuerdo con la Lista del Patrimonio Mundial de UNESCO, que incluye al “Conjunto arqueológico de Mérida”, en el que menciona expresamente “un extraordinario sistema de abastecimiento de agua”. ¿Es correcta la pregunta del CCSE? Se lo dejo a los expertos.
En la pregunta 18, sin embargo, la referencia a “El amor, el brujo” parece ser una alucinación de Llama 3 (salvo que alguien disponga de información adicional).
| TAREA 5 Conocimiento de distintos aspectos de la vida cotidiana y comportamiento en sociedad. Conocimiento sobre trámites administrativos en España |
| 19. Si compramos una botella de agua de 750 ml, compramos una botella de… Meta AI Si compramos una botella de agua de 750 ml, compramos una botella de tres cuartos de litro. Exactamente, 750 ml es equivalente a 0,75 litros. En español, se dice “tres cuartos de litro” para referirse a esta cantidad. |
| 20. En España, ¿cuál es el teléfono único para cualquier emergencia? Meta AI En España, el teléfono único para cualquier emergencia es el 112. Este número es gratuito y está disponible las 24 horas del día, los 7 días de la semana. Permite a los ciudadanos informar de cualquier tipo de emergencia, como accidentes, incendios, delitos, entre otros, y conecta directamente con los servicios de emergencia correspondientes, como la policía, bomberos, ambulancias, etc. |
| 21. En España está permitido el matrimonio… Meta AI En España está permitido el matrimonio entre personas del mismo sexo. El matrimonio entre personas del mismo sexo fue legalizado en España en 2005, cuando el país aprobó la Ley 13/2005, que modificó el Código Civil para permitir el matrimonio entre personas del mismo sexo. Esta ley fue aprobada por el Congreso de los Diputados el 30 de junio de 2005 y entró en vigor el 3 de julio de 2005. Desde entonces, las parejas del mismo sexo tienen los mismos derechos y obligaciones que las parejas heterosexuales en cuanto al matrimonio. |
| 22. ¿Qué es obligatorio para el propietario de un coche en España? Meta AI En España, es obligatorio para el propietario de un coche: 1. Tener un seguro de responsabilidad civil (obligatorio para todos los vehículos con matrícula española). 2. Realizar la Inspección Técnica de Vehículos (ITV) periódicamente, según la edad del vehículo. 3. Llevar el permiso de circulación y la tarjeta de inspección técnica del vehículo en el coche. 4. Tener un triángulo de emergencia y un chaleco reflectante en el coche. 5. Llevar la documentación del vehículo (permiso de circulación, tarjeta de inspección técnica y seguro) en el coche. 6. Pagar anualmente la tarifa de matriculación (impuesto sobre vehículos). 7. Tener un sistema de alumbrado y señalización adecuado (luces, frenos, etc.). 8. Tener un sistema de seguridad activa y pasiva (airbags, cinturones de seguridad, etc.). Es importante cumplir con estas obligaciones para evitar multas y sanciones. |
| 23. En España, ¿dónde se compran las medicinas con receta? Meta AI En España, se compran las medicinas con receta en las farmacias. Para adquirir medicamentos con receta, es necesario tener una receta médica de un doctor. Además, existen aplicaciones como Telefarmacia App que permiten obtener los medicamentos con receta sin tener que ir físicamente a la farmacia. Las farmacias en España suelen tener un horario de atención al público y pueden variar según la ubicación y la zona. En general, las farmacias de barrio suelen tener un horario de lunes a sábado de 9:00 a 14:00 y de 16:00 a 20:00, aunque algunos pueden tener un horario más amplio o reducido. Es recomendable llamar a la farmacia antes de ir para confirmar su horario de atención. |
| 24. La sidra es una bebida típica de… Meta AI La sidra es una bebida típica de Asturias, España. Asturias es la región donde se produce la sidra más tradicional y famosa, y es un producto con denominación de origen protegida (DOP) en España. La sidra asturiana se elabora a partir de manzanas autóctonas y tiene un sabor y aroma característicos. Además, la sidra es una bebida muy popular en la cultura asturiana y se consume en fiestas y celebraciones tradicionales. ¡Pero también hay que destacar que la sidra es popular en otros países como Francia, Reino Unido, Irlanda, entre otros! |
| 25. En España, ¿cuál es el documento que certifica el lugar de residencia del titular? Meta AI En España, el documento que certifica el lugar de residencia del titular es el Certificado de Empadronamiento o el Volante de Empadronamiento. Este documento es emitido por el Ayuntamiento del municipio donde reside la persona y constata su domicilio habitual en un determinado lugar. El Certificado de Empadronamiento es un documento oficial que acredita la residencia en un municipio español y es requerido en various procedures administrativas, como la solicitud de la tarjeta de residencia, la matrícula del vehículo, la inscripción en el padrón electoral, entre otros. |
La pregunta 22 es, originalmente, de respuesta múltiple. Al eliminar las opciones de respuesta, Llama 3 nos ha dado una relación bastante más completa de lo que esperaba.
En cuanto a la pregunta 23, Telefarmacia App existe (para mi sorpresa). Se puede consultar el servicio en su página web.
Para finalizar, el idioma inglés se las ha apañado para colarse en la respuesta 25, en la que las various procedures administrativas llaman la atención.
Conclusión
Creo que puede decirse que Llama 3 se defiende bien en español. Quizá su uso de la voz pasiva es excesivo, pero este problema afecta a todos los modelos de lenguaje y a una buena parte de los textos escritos a día de hoy por inteligencias naturales. Sin embargo, uno de los problemas recurrentes a lo largo de toda la prueba fue que Llama 3 insistía, en numerosas preguntas, en cambiar al inglés a pesar de las instrucciones para responder solamente en español. Y, en todas y cada una las respuestas, aparecía la siguiente coletilla:
I am still improving my command of non-English languages, and I may make errors while attempting them. I will be most useful to you if I can assist you in English.
En conjunto, creo que Llama 3 va a ser una de las presencias más importantes del panorama de la inteligencia artificial, por sí mismo y por su carácter de código abierto, que permitirá infinidad de desarrollos como ya ha sucedido con Llama 2.
Termino esta entrada con la imagen generada por Llama 3 al pedirle una imagen representativa de España (fijaos en el escudo).
