Wie bekomme ich große Sprachmodelle klein?

Generative AI weckt Begehrlichkeiten und viele Interessierte wollen nicht nur einschlägige Dienste wie ChatGPT nutzen, sondern mit eigenen großen Sprachmodelle – intern oder privat – arbeiten. Insbesondere im Hinblick auf Digitale Souveränität müssen Fähigkeiten und Erfahrungen erworben werden, um Foundation Models unabhängig und selbstbestimmt nutzen und gestalten zu können. Im ersten einleitenden Teil des Vortrags wird als Ordnungs- und Gestaltungsrahmen eine Generative-AI-Plattform vorgestellt, die Modelle, Datensätze und Verfahren aufzeigt und einordnet. Der zweite vertiefende Teil fokussiert auf Open-Source-Ansätze in dieser Plattform und Methoden der Quantisierung, um auch größere Modelle auf kleineren (Anzahlen von) GPUs zu trainieren und zu nutzen. Im dritten praktischen Teil des Vortrags werden diese Einsichten für Training und Inferenz mit BLOOM und Dolly in fp16 und int8 auf einer einzelnen Grafikkarte demonstriert.

Zielpublikum: Technologie-Interessierte in Unternehmen und Gesellschaft
Voraussetzungen: Konzepte und Mechanismen werden von Abholpunkt null vorgestellt
Schwierigkeitsgrad: Einsteiger

Mehr Inhalte dieses Speakers? Schaut doch mal bei sigs.de vorbei: https://www.sigs.de/autor/Lothar.Wieske