{rfName}
Ev

Indexat a

Llicència i ús

Icono OpenAccess

Citacions

9

Altmetrics

Anàlisi d'autories institucional

Dentella, VittoriaAutor o coautor

Compartir

Publicacions
>
Article

Evaluating the Language Abilities of Large Language Models vs. Humans: Three Caveats

Publicat a:Biolinguistics. 18 e14391- - 2024-01-01 18(), DOI: 10.5964/bioling.14391

Autors: Leivada, Evelina; Dentella, Vittoria; Guenther, Fritz

Afiliacions

Humboldt Univ, Inst Psychol, Berlin, Germany - Autor o coautor
Inst Catalana Recerca & Estudis Avancats ICREA, Barcelona, Spain - Autor o coautor
Univ Autonoma Barcelona, Dept Catalan Philol, Barcelona, Spain - Autor o coautor
Univ Autonoma Barcelona, Dept Filol Catalana, Barcelona 08193, Spain - Autor o coautor
Univ Rovira i Virgili, Dept English & German Studies, Tarragona, Spain - Autor o coautor
Veure més

Resum

We identify and analyze three caveats that may arise when analyzing the linguistic abilities of Large Language Models. The problem of unlicensed generalizations refers to the danger of interpreting performance in one task as predictive of the models' overall capabilities, based on the assumption that because a specific task performance is indicative of certain underlying capabilities in humans, the same association holds for models. The human-like paradox refers to the problem of lacking human comparisons, while at the same time attributing human-like abilities to the models. Last, the problem of double standards refers to the use of tasks and methodologies that either cannot be applied to humans or they are evaluated differently in models vs. humans. While we recognize the impressive linguistic abilities of LLMs, we conclude that specific claims about the

Paraules clau

Artificial intelligenceGrammaticalityLarge language modelsProbabilitieProbabilities

Indicis de qualitat

Impacte bibliomètric. Anàlisi de la contribució i canal de difusió

El treball ha estat publicat a la revista Biolinguistics, Q3 Agència Scopus (SJR), el seu enfocament regional i la seva especialització en Linguistics and Language, li atorguen un reconeixement prou significatiu en un nínxol concret del coneixement científic a nivell internacional.

Independentment de l'impacte esperat determinat pel canal de difusió, és important destacar l'impacte real observat de la pròpia aportació.

Segons les diferents agències d'indexació, el nombre de citacions acumulades per aquesta publicació fins a la data 2025-06-19:

  • WoS: 3
  • Scopus: 6

Impacte i visibilitat social

Des de la dimensió d'influència o adopció social, i prenent com a base les mètriques associades a les mencions i interaccions proporcionades per agències especialitzades en el càlcul de les denominades "Mètriques Alternatives o Socials", podem destacar a data 2025-06-19:

  • L'ús, des de l'àmbit acadèmic evidenciat per l'indicador de l'agència Altmetric referit com a agregacions realitzades pel gestor bibliogràfic personal Mendeley, ens dona un total de: 6.
  • L'ús d'aquesta aportació en marcadors, bifurcacions de codi, afegits a llistes de favorits per a una lectura recurrent, així com visualitzacions generals, indica que algú està fent servir la publicació com a base del seu treball actual. Això pot ser un indicador destacat de futures cites més formals i acadèmiques. Aquesta afirmació està avalada pel resultat de l'indicador "Capture", que aporta un total de: 6 (PlumX).

Amb una intenció més de divulgació i orientada a audiències més generals, podem observar altres puntuacions més globals com:

  • El Puntuació total de Altmetric: 5.85.
  • El nombre de mencions a la xarxa social X (abans Twitter): 12 (Altmetric).

És fonamental presentar evidències que recolzin l'alineació plena amb els principis i directrius institucionals sobre Ciència Oberta i la Conservació i Difusió del Patrimoni Intel·lectual. Un clar exemple d'això és:

  • El treball s'ha enviat a una revista la política editorial de la qual permet la publicació en obert Open Access.
  • A més, el treball s'ha enviat a una revista classificada com a Diamant en relació amb aquest tipus de política editorial.
  • Assignació d'un Handle/URN com a identificador dins del Dipòsit en el Repositori Institucional: http://hdl.handle.net/20.500.11797/imarina9369657

Anàlisi del lideratge dels autors institucionals

Aquest treball s'ha realitzat amb col·laboració internacional, concretament amb investigadors de: Germany.

Hi ha un lideratge significatiu, ja que alguns dels autors pertanyents a la institució apareixen com a primer o últim signant, es pot apreciar en el detall: Últim Autor (Guenther, Fritz).