{rfName}
Ev

Indexado en

Licencia y uso

Icono OpenAccess

Citaciones

9

Altmetrics

Análisis de autorías institucional

Dentella, VittoriaAutor o Coautor

Compartir

Publicaciones
>
Artículo

Evaluating the Language Abilities of Large Language Models vs. Humans: Three Caveats

Publicado en:Biolinguistics. 18 e14391- - 2024-01-01 18(), DOI: 10.5964/bioling.14391

Autores: Leivada, Evelina; Dentella, Vittoria; Guenther, Fritz

Afiliaciones

Humboldt Univ, Inst Psychol, Berlin, Germany - Autor o Coautor
Inst Catalana Recerca & Estudis Avancats ICREA, Barcelona, Spain - Autor o Coautor
Univ Autonoma Barcelona, Dept Catalan Philol, Barcelona, Spain - Autor o Coautor
Univ Autonoma Barcelona, Dept Filol Catalana, Barcelona 08193, Spain - Autor o Coautor
Univ Rovira i Virgili, Dept English & German Studies, Tarragona, Spain - Autor o Coautor
Ver más

Resumen

We identify and analyze three caveats that may arise when analyzing the linguistic abilities of Large Language Models. The problem of unlicensed generalizations refers to the danger of interpreting performance in one task as predictive of the models' overall capabilities, based on the assumption that because a specific task performance is indicative of certain underlying capabilities in humans, the same association holds for models. The human-like paradox refers to the problem of lacking human comparisons, while at the same time attributing human-like abilities to the models. Last, the problem of double standards refers to the use of tasks and methodologies that either cannot be applied to humans or they are evaluated differently in models vs. humans. While we recognize the impressive linguistic abilities of LLMs, we conclude that specific claims about the

Palabras clave

Artificial intelligenceGrammaticalityLarge language modelsProbabilitieProbabilities

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista Biolinguistics, Q3 Agencia Scopus (SJR), su enfoque regional y su especialización en Linguistics and Language, le otorgan un reconocimiento lo suficientemente significativo en un nicho concreto del conocimiento científico a nivel internacional.

2025-06-19:

  • WoS: 3
  • Scopus: 6

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2025-06-19:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 6.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 6 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 5.85.
  • El número de menciones en la red social X (antes Twitter): 12 (Altmetric).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.
  • Además, el trabajo se ha enviado a una revista clasificada como Diamante en relación con este tipo de política editorial.
  • Asignación de un Handle/URN como identificador dentro del Depósito en el Repositorio Institucional: http://hdl.handle.net/20.500.11797/imarina9369657

Análisis de liderazgo de los autores institucionales

Este trabajo se ha realizado con colaboración internacional, concretamente con investigadores de: Germany.

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Último Autor (Guenther, Fritz).