News OpenAI: ChatGPT lässt sich künftig ohne Anmeldung nutzen

[Orodreth]

Ich nutze seit längerem ein problemlos auf dem heimischen Rechner aufgesetztes LLM. Das geht inzwischen super einfach ohne Linux direkt auf Windows, sogar ohne Installation und nötige GIT Befehle, sowie ohne Zusatzsoftware die man zur hier entfallenden Installation benötigen würde. Einfach zip entpacken das gewünschte LLM als 1 Datei runterladen in den richtigen Ordner verschieben und loslegen. Funktioniert wunderbar mit zensierten und unzensierten LLMs.

Dies betrifft neben Text2Text Sprachmodelle auch Text2Image Modelle. :-)

 

[Groovtama]

Hast du Empfehlungen auch für schwächere Rechner, die sich einfach einrichten lassen? Meine bisherigen Erfahrungen mit selfhosting ai mündeten vor allem in Installations- und Konfigurationsorgien. So richtig "einfach" ging das alles nicht.

Projekte für die API entweder llama-gpt, oder llama.cpp. Für Modelle Qualität mal auf Arena Leaderboard schauen. Bei "schwächeren" Systemen (keine Ahnung wie du das definierst, ML Modelle brauchen halt ein gewisses Grundmaß an Hardware) wahrscheinlich ein 7B oder 14B Modell, die sollten mit 16-32GB laufen.

 

[Krik]

Ich will eine ChatAI auf einem NAS laufen lassen. Das Ding hat die Leistung eines durchschnittlichen Office-PCs, also nichts weltbewegendes.
Ich will schauen, ob das brauchbar ist.