Die Nutzung von Sprachmodellen wie ChatGPT, Mistral oder auch Microsoft Co-Pilot verspricht für viele Unternehmen Produktivitätsgewinne, insbesondere bei wissensintensiven Tätigkeiten. Auch die Resilienz der Unternehmen steigt, da sie das Wissen, das in ihren heterogenen und volatilen Daten und Dokumenten vorliegt, besser, schneller und auf kreativere Art und Weise nutzen können. Diese Produktivitäts- und Resilienzgewinne sind jedoch nur möglich, wenn bei der Nutzung der Sprachmodelle firmenspezifische Daten genutzt werden. Große Unternehmen bauen dafür unternehmenseigene Sprachmodelle auf, was derzeit für KMU keine Option ist. Aus diesem Grund müssen sogenannte RAG-Ansätze (Retrieval-Augmented Generation) genutzt werden. Dabei werden alle relevanten unternehmensspezifischen Daten in die Anfragen eingebettet – und somit an die Betreiber der Sprachmodelle gesendet. Um die eigene digitale Souveränität zu stärken, ist stattdessen die Nutzung von Open-Source-LLMs (wie bspw. LLaMA, BLOOM, GPT-Neox) möglich. 

Das Leistungsversprechen von LLMs ist groß. Jedoch besteht immer die Frage, für welche konkreten Aktivitäten im unternehmerischen Alltag LLMs genutzt werden können, um die versprochenen Produktivitätsgewinne zu realisieren. Neben der Effizienzsteigerung steht auch die Frage im Raum, ob und wie es KMU gelingen kann, durch den Einsatz von LLMs neue Formen der Wertschöpfung oder auch neue Geschäftsmodelle zu etablieren. 

Letztendlich ist der systematische Einsatz von LLMs mit hohen Kosten verbunden. Dies ist zum einen der Betrieb der Sprachmodelle, aber zum anderen auch die Notwendigkeit der Integration aller relevanten, heterogen und verstreut im Unternehmen vorliegenden Daten zur Generierung passender RAG-Szenarien sowie die Einbettung in die IT-Infrastruktur der Organisation.