Metodik för sammanfattningar av rapporter med stora språkmodeller, GPT: För användning av cirkulära material i vägkonstruktion
2026 (Swedish)Report (Other academic)Alternative title
Methodology for summaries of reports with large language models, GPT : For the use of circular materials in road construction (English)
Abstract [sv]
Denna delstudie har genomförts inom ramen för Trafikverksprojektet Cirkulära material i vägar, där målet är att möjliggöra ett ökat och mer systematiskt användande av cirkulära och sekundära material i vägkonstruktioner. För att dessa material ska kunna ersätta traditionella jungfruliga material krävs tillförlitliga metoder för att fastställa deras funktionella egenskaper, särskilt stabilitet och styvhet. Litteraturstudien som ingår i huvudprojektet omfattar ett stort antal nationella och internationella rapporter, vilket medför ett omfattande manuellt arbete. I detta delprojekt undersöks därför om stora språkmodeller (LLM), specifikt GPT, kan användas för att effektivisera arbetet genom att generera strukturerade och tekniskt inriktade sammanfattningar av rapporter.
Arbetet har baserats på en iterativ utveckling av prompter för att styra språkmodellen GPT-4o. Rapporternas textinnehåll konverterades till ren text och inkluderades som indata i prompten, som definierade modellen som frågor till en vägbyggnadsexpert och specificerade vilka rubriker och vilket fokus sammanfattningarna skulle ha. För stora rapporter sammanfattades de mest relevanta kapitlen separat. Dessutom genomfördes tester där GPT användes för att besvara frågor om de sammanfattade rapporterna, både enskilt och i grupp.
Resultaten visar att GPT generellt levererar sammanfattningar av god kvalitet, som i huvudsak är korrekta och relevanta när prompten är tydligt utformad. Sammanfattningarna är ofta språkligt omformulerade men återger i regel rapporternas centrala innehåll. Begränsningar identifierades framför allt när viktig information från tabeller, figurer och diagram gått förlorad vid konvertering till text, vilket kan påverka sammanfattningarnas fullständighet. Vid tvärjämförelser mellan många rapporter samtidigt var resultaten mer varierande, och det förekom felaktigheter även när tabellformat användes.
Slutsatsen är att stora språkmodeller kan användas för att sammanfatta vetenskapliga texter på expertnivå, men att resultaten behöver granskas av ämneskunniga personer. Metodiken med strukturerade och iterativt utvecklade prompter bedöms vara väl lämpad för litteraturstudien och ger ett användbart underlag för projektets fortsatta arbete med val av provningsmetoder och material.
Abstract [en]
This sub study has been carried out within the framework of the Swedish Transport Administration project Circular Materials in Roads, which aims to enable a broader and more systematic use of circular and secondary materials in road construction. For such materials to replace traditional virgin aggregates, reliable methods are needed to determine their functional properties, particularly stability and stiffness. The literature study within the main project covers a large number of national and international reports, resulting in a substantial amount of manual work. This sub-project therefore investigates whether Large Language Models (LLMs), specifically GPT, can be used to streamline this work by generating structured and technically focused summaries of research reports.
The work has been based on the iterative development of prompts used to steer the GPT-4o language model. The textual content of the reports was converted into plain text and included as input in the prompt, which defined the model as responding to questions posed to a road-construction expert and specified the headings and focus required for the summaries. For large reports, the most relevant chapters were summarised separately. In addition, tests were carried out in which GPT was used to answer questions about the report summaries, both individually and collectively.
The results show that GPT generally produces high-quality summaries that are largely accurate and relevant when the prompt is clearly formulated. Although the summaries often rephrase the original text, they typically capture the essential content of the reports. Limitations were identified particularly when important information from tables, figures, and diagrams was lost during the conversion to plain text, which may affect the completeness of the summaries. When multiple reports were analysed simultaneously, the results were more variable, and inaccuracies occurred even when tabular output was requested.
The conclusion is that large language models can be used to summarize scientific and technical documents at an expert level, but that the results must be reviewed by domain experts. The methodology, based on structured and iteratively developed prompts, is considered well suited for the literature study and provides a useful basis for the continued selection of test methods and materials within the project.
Place, publisher, year, edition, pages
Linköping: Statens väg- och transportforskningsinstitut, 2026. , p. 32
Series
VTI PM, ISSN 3035-9813 ; 2026:5
Keywords [en]
Circular materials, AI, GPT, language model, triaxial testing, road materials, functional properties
Keywords [sv]
Cirkulära material, AI, GPT, språkmodell, triaxialförsök, vägmaterial, funktionella egenskaper
National Category
Natural Language Processing Infrastructure Engineering
Identifiers
URN: urn:nbn:se:vti:diva-22604DOI: 10.65151/vti612840OAI: oai:DiVA.org:vti-22604DiVA, id: diva2:2055333
Projects
Användning av cirkulära material i vägbyggnad/Use of circular materials in road construction
Funder
Swedish Transport Administration2026-04-232026-04-232026-04-23Bibliographically approved