Self-hosted LLM/AI i kælderen

Anders er begyndt at bygge en lokal, open-source konkurrent til Open AI - eller er han?

Hør med, når Anders forklarer Bo sit projekt og Bo stiller dumme spørgsmål.

Her er beskrivelsen fra vores producer:

I denne episode dykker vi ned i Anders' spændende projekt med at etablere en self-hosted, open source AI-model.

Vi diskuterer teknologiske muligheder, udfordringer ved self-hosting, og hvordan man kan optimere AI-udnyttelse lokalt for at undgå de stigende omkostninger ved kommercielle API-tjenester.

Emner

• Anders' projekt med egen AI-model baseret på open source modeller
• Brugen af kraftige grafikkort og GPU'er til AI-beregninger
• Fordele ved self-hosting af AI frem for cloud-tjenester
• Sikkerhed og GDPR-krav ved lokal hosting af AI
• Valg af modeller og data til træning af AI
• Økonomiske aspekter ved AI-udvikling og drift
• Fremtiden for open source AI og europæisk uafhængighed