LLM

Inferencja modele LLM: Mniej kosztów, więcej mocy

25 września, 2024 /

Pytania, na które znajdziesz odpowiedzi w tym odcinku:

  • Czym jest inferencja modeli LLM i jakie są kluczowe wymagania sprzętowe do jej przeprowadzenia?
    Jakie są dostępne opcje dostępu do mocy obliczeniowej potrzebnej do uruchamiania modeli AI i jakie są ich zalety oraz wady?
  • Jakie są główne różnice między zamkniętymi a otwartymi modelami AI i którzy są kluczowi gracze w tej dziedzinie?
  • Ile RAMu potrzebuje DUŻY model językowy i czy Twój komputer da radę?
  • Ile GPU trzeba mieć aby uruchomić Llame 8B, 70B czy nawet 400B?
    Jakie są najważniejsze parametry GPU i co one oznaczają w praktyce (tak po ludzku)?
  • Czy NVIDIA to JEDYNY wybór dla sprzętu? Poznaj alternatywy!
  • Czym jest kwantyzacja modeli LLM i jak wpływa na ich wydajność oraz precyzję?

Od 2013 roku zacząłem pracować z uczeniem maszynowym (od strony praktycznej). W 2015 założyłem inicjatywę DataWorkshop. Pomagać ludziom zaczać stosować uczenie maszynow w praktyce. W 2017 zacząłem nagrywać podcast BiznesMyśli. Jestem perfekcjonistą w sercu i pragmatykiem z nawyku. Lubię podróżować.