Kurs 1: Lokaler KI-Agent

Intro – Kursüberblick

• Intro – Kurs-Intro & Zielbild
  Was im Kurs gebaut wird (Offline-KI-Agent im LAN), Überblick über alle drei Module und Voraussetzungen: Hardware, Ubuntu, Grundkenntnisse.

• Clip 1 – Hardware-Überblick & Komponentenwahl
  Geplante Hardware durchgehen (CPU, RAM, SSD, GTX 1080, Netzteil, Gehäuse) und warum sich das für Offline-KI eignet.
• Clip 2 – SSD & M.2 vorbereiten
  Alte M.2 SSD ausbauen.
• Clip 3 – Neue SSD M.2 einbauen
  Neue M.2 (z. B. 256 GB für den Kurs) einbauen und kurz zeigen, wo sie steckt.
• Clip 4 – RAM-Bestückung & Kontrolle
  4×8 GB RAM zeigen/einbauen und Dual-Channel kurz erwähnen.
• Clip 5 – GPU-Einbau (GTX 1080)
  Grafikkarte einbauen, Hinweis auf CUDA-Einsatz für KI.
• Clip 6 – GPU-Stromanschluß
  PCIe-Stromstecker anschließen
• Clip 7 – Gehäuse schließen
  Kontrolle und Gehäuse schließen
• Clip 8 – KI Server erster Power-On
  Frontpanel-Kabel (Power, Reset, HDD-LED, Speaker) anschließen und erste Inbetriebnahme.
• Clip 9 – Ubuntu 22.04 LTS installieren
  Vom USB booten und Schritt für Schritt durch den Installer (Sprache, Partition, Benutzer) gehen.
• Clip 10 – Erster Login & Grundeinstellungen
  Nach dem Reboot einloggen und Netzwerk prüfen.

• Clip 11 – SSH, IP & System-Update
  OpenSSH-Server installieren, IP-Adresse ermitteln, von Windows mit PuTTY verbinden, Ubuntu Update/Upgrade
• Clip 12 – NVIDIA-Treiber & CUDA installieren
  Proprietären NVIDIA-Treiber unter Ubuntu installieren (z. B. über ubuntu-drivers), Reboot und Version prüfen.
• Clip 13 – GPU-Test mit nvidia-smi
  In der SSH-Session nvidia-smi aufrufen und zeigen, dass die GTX 1080 korrekt erkannt wird.
• Clip 14 – Ordnerstruktur /opt/ki-agent anlegen
  sudo mkdir -p /opt/ki-agent/app /opt/ki-agent/uploads anlegen und Rechte für den Arbeitsbenutzer setzen (chown).
• Clip 15 – Samba installieren & Share für /opt/ki-agent einrichten
  sudo apt install samba, Freigabe in der smb.conf anlegen und Rechte & User setzen.
• Clip 16 – Zugriff von Windows testen
  Vom Windows-PC aus auf \\SERVER\ki-agent zugreifen und Dateien hin- und herkopieren.
• Clip 17 – Ollama installieren & grundlegende Konfiguration
  Ollama installieren, Dienst starten und mit ollama list die Modellübersicht anzeigen.
• Clip 18 – Modelle laden
  Modell wie mistral, llama3, granite3-dense:2b und ein etwas größeres Model ibm/granite4:tiny-h
• Clip 19 – Ollama Modelle testen
  Model ibm/granite4:tiny-h wird gestartet und danach ein curl Test-Aufruf durchgeführt.
• Clip 20 – Troubleshooting
  Ollama Dienststatus überprüfen und Log-Einträge einsehen

Teil A – Agenten-Code & Backend

• Clip 21 – Modul 3 Überblick: Vom Modell zum Agenten im Browser
  Ziel: FastAPI-Backend, Web-UI, Memory, Datei-Upload – alles lokal im LAN. Rückblick auf Ubuntu, GPU, Ollama, Samba und virtuelle Umgebung.
• Clip 22 – memory.py: Einfaches Gesprächs-Gedächtnis
  Datei memory.py mit ConversationMemory anlegen: add(), get(), clear(). Erklärung, dass hier der Chatverlauf gespeichert wird.
• Clip 23 – agent.py: Verbindung zu Ollama & Prompt-Aufbau
  agent.py anlegen, MODEL_NAME = "ibm/granite4:tiny-h" setzen, ask_model() baut den HTTP-Call zu Ollama (ohne Streaming, Temperatur 0.2), build_prompt() kombiniert Systemprompt, Verlauf und Datei-Kontext (_file_context). Wichtig: Agent soll nur Infos aus Verlauf + Datei verwenden.
• Clip 24 – extractor.py: PDF/TXT/CSV lesen
  PDF-Text mit pdfminer.six, Fallback mit PyPDF2, TXT & CSV mit Python einlesen. Zentrale Funktion extract_any(path) für den Rest des Systems.
• Clip 25 – main.py: FastAPI-Backend, /chat, /upload, /reset
  FastAPI-App anlegen: / rendert index.html, /chat baut den Prompt, fragt Ollama, aktualisiert das Memory, /upload speichert Dateien, ruft extract_any() auf und setzt den Datei-Kontext, /reset löscht Memory und Datei-Kontext.
• Clip 26 – index.html: Schlichtes Chat-Frontend mit Dropzone
  Chat-Container, Eingabefeld, Senden-Button sowie Dropzone für Drag & Drop, Datei-Button und Upload-Button. Einbindung von /static/app.js.
• Clip 27 – app.js: Chat-Logik, Upload & Drag & Drop
  DOMContentLoaded ruft /reset auf, damit jeder Reload mit einem frischen Chat startet. sendMsgInner() schickt Nachrichten an /chat, uploadFileInner() lädt Dateien an /upload und gibt eine Meldung wie „Du kannst jetzt Fragen stellen“. Drag & Drop-Events verhindern, dass der Browser PDFs direkt öffnet.

Teil B – Start, Funktionstest & Zusammenfassungen

• Clip 28 – Server starten & erster Chat ohne Datei
  Virtuelle Umgebung aktivieren (source venv/bin/activate), Uvicorn starten (uvicorn app.main:app --host 0.0.0.0 --port 8000), im Browser http://SERVER-IP:8000 öffnen und eine erste Begrüßungsnachricht testen.
• Clip 29 – Test: Zusammenfassung http_https_testtext.txt
  Textdatei über Dropzone/Upload hochladen und z. B. fragen: „Bitte fasse die Datei in 5 Stichpunkten zusammen.“ Zeigen, dass die Antwort klar am Inhalt der Datei ausgerichtet ist (HTTP vs. HTTPS).
• Clip 30 – Test: Zusammenfassung photosynthese_testtext.pdf & differentialrechnung_testtext.pdf
  Beide PDFs nacheinander hochladen und jeweils um eine kurze Zusammenfassung in fünf Stichpunkten bitten. Erklärung, dass der Agent nur mit den extrahierten Texten arbeitet (ohne Internet).

Teil C – Dauerbetrieb als Dienst (systemd)

• Clip 31 – KI-Agent als systemd-Dienst & Autostart
  ki-agent.service unter /etc/systemd/system/ anlegen (User, WorkingDirectory, PATH, ExecStart), sudo systemctl daemon-reload, sudo systemctl enable ki-agent.service und sudo systemctl start ki-agent.service ausführen und den Status prüfen. Browser-Test ohne manuelles Starten, optional journalctl -u ki-agent.service -f zeigen. Abschluss: Kurs 1 ist fertig – der Offline-KI-Agent läuft dauerhaft im LAN.