LibreChat mit ChatGPT

Die Modelle der GDWG stehen aktuell über LibreChat nicht zur Verfügung! Bitte nutzen Sie den Zugang über die Academic Cloud.

Probebetrieb

Dieser Dienst befindet sich noch in der Erprobung. Verfügbarkeit und Zuverlässigkeit können noch nicht garantiert werden. Bitte melden Sie technische Fehler an support@rz.tu-clausthal.de.

Beschreibung

LibreChat ermöglicht die Integration unterschiedlicher Anbieter von Large Language Modellen (LLMs). Aktuell stehen Modelle von OpenAI und der GDWG zur Verfügung:

OpenAI | gpt-4o
OpenAI | gpt-4o-mini
OpenAI | gpt-o1-preview
OpenAI | gpt-o1-mini
GDWG | meta-llama-3.1-70b-instruct
GDWG | meta-llama-3.1-8b-instruct

Weitere Informationen zu den Modellen der GDWG finden zu auf der Seite der GWDG zur Modellbeschreibung der GDWG .

Diese stehen allen Studierenden und Mitarbeitenden der TU Clausthal zur Verfügung. Der TU entstehen damit jedoch bei den Modellen von OpenAI nutzungsabhängige Kosten, die bis auf weiteres aus einem zentralen Budget getragen werden. Die Kosten entstehen nicht dem Nutzer!

Wir weisen darauf hin, dass LibreChat ein Frontend (Oberfläche) für ChatGPT ist! Alle Anfragen werden direkt über die von OpenAI bereitgestellte API weitergeleitet. Es findet eine Drittstaatenübermittlung ins Nicht-EU-Ausland statt. Es besteht jedoch ein Datenverabeitungsvertrag mit OpenAI in dem zugesichert wird, dass die übermittelten Daten nicht für Trainingszwecke verwendet werden und die Daten nicht an Dritte weitergegeben werden. Siehe Enterprise privacy at OpenAI. Zudem sei auf die Datenschutzhinweise zu LibreChat verwiesen.

Wir weisen darauf hin, dass derzeit die Bildgenerierung mit gpt-4-o nicht möglich ist, da dies in der von OpenAI bereitgestellten API nicht nicht freigeschaltet ist!

Zugang

LibreChat erreichen Sie unter folgender Adresse: https://chat-ai.tu-clausthal.de/ aus dem Netz der TU-Clausthal. Für den Zugriff von zu Hause benötigen Sie eine VPN-Verbindung.

Gehen Sie auf den Button „TU Login“. Geben Sie danach als Benutzerkennung Ihren <TUC-User>(z.B. abc123) an, sowie Ihr zugehöriges TUC-Passwort und bestätigen Sie mit „Login“.

Nach erfolgreicher Anmeldung steht Ihnen der Zugang zu ausgewählten Sprachmdellen von OpenAI zur Verfügung.

Nutzung

Die Oberfläche von LibreChat sieht sehr ähnlich zu dem Webinterface von ChatGPT selbst aus.

Bitte beachten Sie, dass je nach ausgewähltem Sprachmodell dieses bis zu einem bestimmten Datum trainiert ist. Die Modelle können daher unvollständige und auch falsche Antworten liefern. Zudem verfügen die angeboteten Sprachmodell nicht über unternehmensspezifisches Wissen.

Auf der linken Seite (1) finden Sie Ihren Chatverlauf, wo Sie neue Unterhaltungen beginnen oder bereits bestehende fortsetzen können. Ihre Fragen und die Antworten von ChatGPT werden hier in chronologischer Reihenfolge angezeigt. Für jedes neue Thema sollten Sie einen neuen Chat aufmachen, damit sich der Kontext unterschiedlicher Themen nicht vermischt.

Oben (2) befindet sich ein Menü, in dem Sie das konkrete Sprachmodell auswählen können. Hier ist auch die Anpassung der Modellparameter möglich.

Im Eingabefeld (3) tippen Sie Ihre Fragen oder Kommandos ein und können zudem Dateien über das Symbol einer Klammer hochladen. Auch ist es möglich Text per Spracheingabe einzugeben.

Derzeit steht die Spracheingabe nicht in allen Browsern zur Verfügung, da hier auf die Speech-To-Text Funktion des Browsers verwendet. Möglich ist dies zum Beispiel mit Chrome und Edge.

Im rechten Bereich (4) erhalten Sie eine Übersicht über alle Dateien, die Sie in diesem Chatverlauf hochgeladen haben.

Modellparameter

Diese Parameter helfen dabei, die Vielfalt, Relevanz und Einzigartigkeit der generierten Antworten zu kontrollieren. Anfängern wird jedoch empfohlen die Standardwerte beizubehalten.

Erläuterung der Modellparameter

Kontexttokens: Dies bezieht sich auf die maximale Anzahl von Token (Einheiten von Wörtern oder Zeichen), die das Modell auf einmal „verstehen“ oder verarbeiten kann. Bei vielen Sprachmodellen gibt es eine obere Grenze für die Anzahl von Token, die im Eingabekontext enthalten sein können. Wenn diese Grenze überschritten wird, muss der Text gekürzt oder geteilt werden.
Antwort Tokens: Dies bezieht sich auf die Tokens, die im generierten Output oder in der Antwort des Modells enthalten sind. Wenn das Modell eine Antwort erzeugt, besteht diese Antwort aus einer bestimmten Anzahl von Token. Es gibt oft auch eine maximale Begrenzung dafür, wie viele Token die Antwort des Modells haben kann, abhängig von der Implementierung oder den Nutzerpräferenzen.
Temperatur (Temperature): Dieser Parameter steuert den Zufallsgrad der Antworten. Ein niedrigerer Wert (z.B. 0.1) führt zu vorhersehbareren und konsistenteren Antworten. Ein höherer Wert (z.B. 1.0) erhöht die Vielfalt und macht die Antworten weniger vorhersagbar. Eine Temperatur von 0 würde immer dieselbe Antwort auf dieselbe Eingabeaufforderung geben (sofern der Rest der Einstellungen identisch ist).
Top-P (Topical Penalization, auch bekannt als Nucleus Sampling): Dieser Wert bestimmt, wie das Modell aus einer Gruppe von wahrscheinlichen nächsten Worten auswählt. Ein niedrigerer Top-P-Wert (z.B. 0.5) bedeutet, dass nur die wahrscheinlichsten Worte berücksichtigt werden. Ein höherer Wert (z.B. 0.95) erlaubt eine größere Vielfalt potenzieller Worte. Dieser Mechanismus funktioniert durch das Beschränken der Auswahl an Wörtern auf ein kumulatives Wahrscheinlichkeitsintervall („P“).
Frequency Penalty (Häufigkeitsstrafe): Dieser Parameter verhindert, dass das Modell dieselben Wörter oder Phrasen wiederholt. Je höher der Wert, desto größer die Strafe für die Wiederholung von Wörtern, was zu einer variableren und diversifizierteren Antwort führt.
Presence Penalty (Anwesenheitsstrafe): Ähnlich wie die Frequency Penalty, aber dieser Parameter bestraft Wörter basierend darauf, ob sie bereits im Text erschienen sind, unabhängig von ihrer Häufigkeit. Ein höherer Wert fördert die Einführung neuer, bisher nicht verwendeter Wörter oder Phrasen in den Antworten.

Löschen von Chats

Sie haben zwei Möglichkeiten, Ihre Chats und damit Ihre Daten zu löschen. In der chronologischen Auflistung der Chats haben Sie die Möglichkeit, über das Papierkorbsymbol (1) den entsprechenden Chat zu löschen. Weiterhin können Sie auch alle Ihre Chats auf einmal löschen. Dazu klicken Sie auf Ihre E-Mail-Adresse (2a) im unteren linken Bereich. In dem sich öffnenden Menü (2b) klicken Sie auf Einstellungen. In dem nun angezeigten Fenster können Sie über die Schaltfläche „Entfernen“ alle Chats löschen.

FAQ

Meldung "Your account has been temporarily banned due to violations of our service."

Wird Ihnen diese Meldung angezeigt, dann wurde Ihr Account vorrübergehend gesperrt. Folgende Ursachen können eine temporäre Sperrung auslösen:

Zuviele Nachrichten innerhalb eines definierten Zeitintervalls.
Aufruf eines nicht zulässigen Models.
Zuviele parallele Aufrufe der Anwendung.

Die Sperrdauer beträgt 60min.! In dieser Zeit können Sie sich einloggen. Ihnen steht es aber frei die anderen Dienste (KI-Dienste) zu nutzen.

Fehler "No model spec selected"

Änderungen an der System-Konfiguration können dazu führen, dass älteren Chat-Verläufe die Auswahl des Sprachmodells verloren geht. Dann wird die folgende Meldung angezeigt:

Auch zuerkennen an der Anzeige „Keine [Modelle] gewählt“ im oberen Menü (2):

Der Fehler kann behoben werden, indem im Menü (2) einfach das gewünschte Modell gewählt wird.

Fehler "model spec mismatch"

Wenn das ausgewählte Model im Drop-Down Menü nicht mit dem Model, welches im Dialog worüber die Modellparameter eingestellt werden können identisch ist, kann es zu einem Fehler kommen. Hier ist darauf zuachten, dass jeweils das gewünschte Model ausgewählt ist.

weitere Informationen

Weitere Hinweise zur Benutzung von ChatGPT finden Sie auf der Hilfeseite What is ChatGPT? von OpenAI.