Das Thema KI / AI wird immer mehr und immer wichtiger, ich selbst konnte die Vorteile schon erkennen und nutzen, in Vorbereitung auf eine Veranstalltung an der wir uns kurzfristig Beteiligen und nur 1 Tag
zur Vorbereitung hatten.
Hier die KIs die ich zur Zeit nutze: https://www.technik22.de/d/979-mit-diesen-ki-systemen-arbeite-ich-am-meisten
Natürlich alle Kostenlos, aber dadurch auch in der Abfrage Begrenzt um diese Begrenzung zum “Umgehen”
ist der Plan, ein “ChatGPT” selbst unter einem Porxmox LXC zu Hosten.
Für den “ersten” Versuch soll der “alte” Intel i5-4670 mit 16GB DDR3 Arbeitsspeicher genutzt werden wobei nur 8GB noch zu verfügung stehen (Proxmox mit zwei VNs) und einer Nvidia 3060 12GB Ram.
Klar ist die Nvidia 3060 nicht die “schnellste” GPU für größere KI Modele aber sie sollte bei einem Lama3 8b
noch recht flott Ergebnise Liefern, werde das Testen, werde aber auch das Lama3 70b testen, mal sehen wie
viele Kaffee ich beim 70b Trinken kann bis ein Ergebnis kommt 😂
Hier könnt Ihr mal sehen was für ein GPU läuft:
https://aifusion.company/gpu-llm/
Warum eine 3060?
Weil die Bezahlbar ist und noch ganz gute Ergebnisse mit dem kleineren KI Models erzielen kann.
Warum das ganze Überhaupt?
Weil ich Geld sparen will, in 10 Monaten ist die GPU Beazhlt, wenn man mal den Preis für die Bezahlversion von ChatGPT nimmt.
Der Flaschenhals ist…?
Denke ich die alte CPU… auch was das ganze System, ist halt von 2013 -2014…
Was dann?
Dann wird Aufgerüstet…., besser geabseikelt, mein Desktop mit dem i9-9700 und 32GB DDR4 wird dann dafür hergenommen 🤭