@Thanos, mam procka ze zintegrowaną grafiką.... Ale mam też maca M1... Wcześniej nie interesowałem się lokalnym działaniem ,bo było wolne i sądziłem, że to nie będzie działaś tak dobrze i szybko jak te płatne.

@LizardKing, nie, nie... nic z tych rzeczy. Model 30B (w miarę lekki w porównaniu do kobył 70B+) z A4B (czyli każde przetworzenie w trakcie inferencji aktywuje tylko 4B parametrów niczym w modelu mikro) zasuwa jak pershing! Modele są coraz dokładniejsze, szybsze, lżejsze, mocniejsze. Open-source dogania komercję w zastraszającym tempie

@Thanos, @keeetko, gdzie panowie polecacie zacząć współpracę z lokalną "agenturą"? Jak sprzęt zdolny i do 70B jest?

@tow_wieslaw, dla 70B to już liga PRO. przy kwantyzacji FP8, gdzie vRAM wyniesie ok. 70 GB, to potrzebujesz jeszcze 20-50 GB na kontekst (czyli po załadowaniu modelu do pamięci musisz jeszcze mieć miejsce na zadania dla niego, obliczenia, rozmowy, agentowe sprawy etc.) — dlatego taki model wymagać będzie min. 100-120 GB RAM całkowitego. W tym przedziale topowym produktem jest GDX-SPARK:

http://www.x-kom.pl/p/1575555-nettop-mini-pc-acer-veriton-vgn100-ai-nvidia-spark-gb10-128gb-2tb-nvidia-dgx-os.html

(najtaniej wg CENEO)

nic lepszego tutaj nie dostaniesz, bo Twoja półka to nie "zabawa", tylko już konkretna moc obliczeniowa. Zresztą teraz tak mocno ceny RAM / GPU poszły w górę, że nawet po taniości (karta graficzna z 16-24 GB vRAM) to 1-2 wypłaty

@Thanos, źle sformułowałem pytanie. Chodziło mi o soft który wykorzysta sprzęt + LLM, oraz o wiedzę jak z tym wystartować, skonfigurować, na co zwrócić uwagę.

@tow_wieslaw, aha... no to masz dwie drogi:

A/ najprostsza: dostępna od ręki. stawiasz Linuxa (Mint. CachyOS, Ubuntu etc.) i instalujesz gotowca oLLaMa — działa od strzała + wygodnie pobiera modele. Minusy: wydajność. To bardziej zabawa lub testowanie ogólne.

B/ droga PRO: max wykorzystanie swojego sprzętu → vLLM i pochodne. Ogólnie Linux i ten kierunek. Spokojnie z czatem (Claude / Gemini) ogarniesz cały stack tech. w 2 wieczory przy piwerku

@Thanos, miałem szczęście i kupiłem trochę sprzętu "w dołku", teraz by wypadało wykorzystać. Jest maszyna z 256GB ramu, jest rtx 3090, są słabsze karty ale w większej liczbie. Do tej pory bawiłem się wyłącznie czystymi modelami, ale pora na następne kroki.

dla 70B to już liga PRO. przy kwantyzacji FP8, gdzie vRAM wyniesie ok. 70 GB, to potrzebujesz jeszcze 20-50 GB na kontekst

@Thanos, @tow_wieslaw: właściwie,to... nie ! To jest potrzebne do KOMFORTOWEJ pracy/pracy z agentami. Do niekomfortowej z samym chatem to aktualna przejściowa konfiguracja którą mam czyli 24 gb vram i 32gb RAM jest znośna. Ledwo znośna - dosłownie na 1 strzał z samego modelu - ale znośna ! Agenty które nie programują i chaty można w sensownej jakości odpalać od Q4_XS. Wszystko poniżej - niby działa,ale względem oryginalnego modelu padaka. Q4 to jest 90-95% jakości oryginału. Przy 100b+ można się skusić na Q3 ale...

W zasadzie zresztą przy tego typu modelach to i tak będzie offloadowało do ramu o ile to nie MOE i rzucało po kilka tokenów na sekunde (tak,wiemwięc wystarczy gamingowa 8gb + 64 gb ramu zamiast (ram od GPU wciąż potencjalnie tańszy) ale są inne problemy o czym dalej.

Do komfortowej pracy agentów natomiast to już się liczy jakie masz GPU (karte graficzną) lub czy model nie jest modelem MOE (Mixture of Experts - zespół ekspertów) z tego względu,że o ile czekanie na wolną odpowiedź (1-4 tokenów/sekundę) jest niekomfortowe ale akceptowalne z chatem - to agent wykonuje ZA DUŻO ZADAŃ i tu prędkość napierdalania tokenami jest KLUCZOWA. Ekonomia no. Dlatego podchodzenie do Modelu 70b-128b+ który byłby monolityczny jako do silnika agenta choć fajne trochę MIJA SIĘ Z CELEM. Na szczęście kodery typu Ornith,Tiel albo albo ten Qwen Next 80b a3b nawet to właśnie MOE (to a3b to tu aktywne 3b - 3 miliony parametrów)

Okno kontekstu to jest sensowne jak długo rozmawiasz z Chatem.Albo agent w sporej części narzędzi. Użyteczne jest mieć długie do dyskusji ale chat i tak "zapomina" i to problem. Dlatego można mieć i krótkie - byle mieć nawyk wymuszania streszczania. Albo dla agentów jest istotne też - ale aż tak by to obchodzić (pewnie by trzeba w pythonie) jeszcze nie robiłem. Za mało razy się tym bawiłem jeszcze.

W sumie i tak dobrą praktyką przy programowaniu będzie puścić model na aiderze i sprawdzać co to za poprawki model chce wprowadzić do repo każdorazowo (oprócz regularnego robienia backupów co ileś kroków). Mniej wygodne ? Tak,ale stabilne i kontrolowalne.

Dobra dobra nie rozpisując się: NARZĘDZIA

Linux podobno najlepiej,ale i windows uciągnie niektóre narzędzia. Najprostsza do chata jest Ollama a potem Lm Studio (choć oni na stronie to teraz wciskają swoje narzędzie agentowe Bionic) ale też mają większy narzut na pamięć 100-500mb ! Natomiast jak się jest pro to można i odpalać przez llamacpp czy linuxowe VLLM jak się ma poinstalowanego pythona i resztę bibliotek. Będzie wydajniej i mniej pamięci zeżre ale więcej z tym dłubania niż kilka klików.

Do agentów bez dłubania w pythonie - no pod linuxa masz lmstudio bionic jak mówiłem (pod windowsa też coś było ale ukryli bo były problemy ze stabilnością), pod programowanie masz najprostszego aidera i jakieś rzeczy typu langgraph chyba na windows i linux. Ale Te systemy pod agentów trochę wymagające są pod wzgledem hardware - nawet może być tak jak mówił @Thanos. Sprytniejsze jest podpięcie tego ollamą czy llamą.cpp

EDIT: Programiści wycisną z tego ostatnie soki na linuxach. Bez linuxów - też się da, da się i bez safetensors czy AWQ - kosztem wydajności. Nie ma jednak co płakać na wydajność byle robota zrobiona była.

Masz rację, chodziło mi o "komfortową" pracę. Czyli wrażenia jak z Claude / GPT / Gemini: że odpalasz np. rozmowę i nie martwisz się długością kontekstu. Wgrywasz fotki. dokumenty, ciężkie pliki i wszystko hula bez zająknięcia przy max prędkości. Dodatkowo stosuje się agresywne cache-owanie:

(APIServer pid=1) INFO 10-10 19:27:58 [loggers.py:320] Engine 000: Avg prompt throughput: 389.9 tokens/s, Avg generation throughput: 35.2 tokens/s, Running: 0 reqs, Waiting: 0 reqs, GPU KV cache usage: 0.1%, Prefix cache hit rate: 62.8%, MM cache hit rate: 83.3%

---

Szybkie omówienie — wklejam analizę, bo się mocno interesujesz tematem:

1. Avg prompt throughput (tokens/s): To prędkość, z jaką model "czyta" zapytanie. Gdy wysyłasz długi tekst (np. to, co piszesz do mnie), vLLM błyskawicznie przetwarza go na tokeny. W logach widzimy skoki od 0 do nawet 400 tokens/s. To bardzo imponujące — oznacza to, że model "rozumie" pytania niemal natychmiast.

2. Avg generation throughput (tokens/s): To prędkość, z jaką model "pisze" odpowiedź. Widać tu wartości rzędu 25—45 tokens/s. Dla porównania: człowiek czyta ze średnią prędkością ok. 5-10 tokens/s. GDX generuje więc tekst znacznie szybciej, niż jesteś w stanie go czytać.

3. Zarządzanie pamięcią (KV Cache & GPU) — to tutaj dzieje się magia vLLM:

A/ GPU KV cache usage (0.0% - 2.0%): KV Cache to miejsce w pamięci GPU, gdzie model przechowuje "pamięć roboczą" bieżącej rozmowy. Wykorzystanie na poziomie 0.2% oznacza, że istnieje ogromny zapas mocy. System jest niezwykle "oddechowy" — możesz w tej samej chwili wrzucić mu dziesięć innych zadań lub ogromne dokumenty, a on nawet nie poczuje obciążenia pamięci GPU.

B/ Prefix cache hit rate (~60-65%): [Najważniejsze!] Ten parametr mówi, jak często model nie musi "liczyć wszystkiego od nowa", bo część tekstu (np. poprzednie zapytania lub instrukcje systemowe) jest już gotowa w pamięci podręcznej. Wynik ~60% oznacza, że vLLM bardzo sprytnie oszczędza czas, korzystając z tego, co już raz przetworzył. To drastycznie przyspiesza działanie przy długich rozmowach.

C/ MM cache hit rate (~80-85%): Dotyczy Multi-Modal cache (przesyłanie obrazów). Tak wysoki wskaźnik sugeruje, że obrazy lub kontekst wizualny są bardzo efektywnie przechowywane i ponowne odwołanie do nich jest niemal natychmiastowe.

Całość śmiga błyskawicznie (zwraca odpowiedź od razu), agenci z kolei pracują jak szaleni.

---

Właśnie o tym pisałem, że liczy się spryt. Dlatego u siebie mimo słabszego sprzętu fajnie kombinujesz i dzięki temu możesz dobrze pohulać 😎

@Thanos, No u ciebie to chodzi jak rakieta i widać że to VLLM lub AWQ czy inna rzecz.

U mnie główna filozofia jest inna - biorę głównie GGUFy bo "ma działać" choć nie będzie tak szybkie (aż połowa straty na wydajności niby...) i co ważne - ma dać się upchnąć maksymalna jakość na karcie i w pamięci której zawsze jest za mało. Kwantyzacje typu Q5 czy Q6 albo Q4_XS nie są naturalne dla karty,ale jak się nie upchnie przez sprzęt pełnej jakości to sobie trzeba radzić.

Jakość modelu,jakość - to jest prawdziwa zmora jak dla mnie.

Safetensors i AWQ byłyby lepsze,VLLM też - ale jakość modelu i rozmiar tego w pamięci i na karcie...

Oczywiście i tak niektóre modele będę musiał w tym safetensors - przynajmniej monolityczne - bo ewentualne dotrenowanie jakiejś lory na unsloth czy modyfikacja modelu z GGUFem nie przejdzie. A i próby wydłubywania czegoś z wnętrza modelu (przynajmniej z gemmą da się !) nie przejdą z GGUF. Oczywiście ten format to marnotrawstwo i to ogromne,ale skompresowany model to miejsce na dysku i w pamięci. Kontekstem się trochę martwię - ale jego długość jak będzie za duża to i tak nawet Gemini google zapomina szczegóły w sposób tak frustrujący,że dochodzę do wniosku,że zdanie kontekstu na pamięć samego modelu to lekka pomyłka.No Bez RAGu czy agresywnego streszczania kontekstu co chwila to ta technologia jest za słaba

Co zaś do "niekomfortowych prędkości" - jak mówiłem no agent musi mieć możliwość działać szybko - ale dla mnie, człowieka - ściana tekstu nie jest potrzebna. Zamiast tego: "ty mi policz a ja pójdę na kawę czy herbatę" jest wkurzającą ale znośną opcją przy chacie.

Przy agencie będzie to irytujące jakby co,w człowieku będzie budził się wewnętrzny Janusz i pytał - co tak wolno,co tak drogo.

@keeetko, do zadań "na co dzień" (szybkie taski, pytania-odpowiedzi, analiza plików, pomoc w kodowaniu, różne podpowiedzi itd.) to możesz mieć dalej suba za stówkę / m-c (np. Claude, GPT). Natomiast Twój stack ma tę przewagę, że jest Twój, czyli możesz sobie na noc zostawić Aidera / CrewAI (albo nawet na 2 dni, po co się tak spieszyć? Będą robić powoli, ale dokładnie). Możesz działać z nimi na różnych płaszczyznach (uncensored / heretic) i mieć z tego frajdę (i korzyść). Czyli w Twoim wypadku bardziej warto iść w automatyzację (odpalasz skrypt i wychodzisz do pracy), niż Real-Time-Working (praca na bieżąco, gdzie przy 1-3 tok / s outputu posiwiejesz 5 razy). Czyli nie patrz na prędkość, ale na to, że masz dostep do potężnego modelu, który wykonuje dla Ciebie zadania bez zająknięcia. A to że chwilę mu to zajmie, to nie szkodzi (za te pieniądze jest do przebolenia )

do zadań "na co dzień" (szybkie taski, pytania-odpowiedzi, analiza plików, pomoc w kodowaniu, różne podpowiedzi itd.) to możesz mieć dalej suba za stówkę / mc (np. Claude).

@Thanos, Mojemu obecnemu szefowi się tak wydaje. Właśnie NIE, a przynajmniej nie do końca - danych firmowych i danych klientów NIE POWINNO SIĘ powierzać zewnętrznemu AI o ile jest inna możliwość.

Wcześniej było z tym lepiej ale wiedzę,że zaczęli robić solidne logi z tych rozmów a może i szkolą na tym modele. Był przypadek,że OpenAI i cholerny Altman ukradło jakieś odkrycie matematykom którzy posiłkowali się nową wersją GPT - ty siedzisz w matematyce to pewnie kojarzysz, Równania Naviera-Stokesa - Buckmaster i Alpöge.

W dodatku ta cenzura. I jeszcze ostatnia niespodzianka - firmy od modeli chmurowych najwyraźniej kablują na policję: http://tvn24.pl/tvnwarszawa/wilanow/warszawa-rozmawial-ze-sztuczna-inteligencja-zaalarmowal-sluzby-st9277065 - nie żebym popierał takie pomysły jak tu no ale widzisz - to już nie te czasy,że model się będzie tylko dąsał i przerwie rozmowę jak zapytasz o coś nieprzyjemnego dla żydów,to może mieć konsekwencje...

@keeetko — PS. jeszcze tylko dodam: to kwestia przyzwyczajenia. Dawno temu, nim zmieniłem sprzęcik (praca na klasycznym CPU + RAM w Pythonie lub GO), puszczałem skrypt, który mielił np. 8 dni (wklejałem screeny, chyba nawet widziałeś )... na początku to było strasznie uporczywe, bo chciałem mieć wynik "na już" (żeby się natychmiast dowiedzieć, czy hipoteza matematyczna ma dalszy potencjał badawczy, czy może podlega falsyfikacji i jest ślepą uliczką). Z początku mną trzęsło, potem jednak zaakceptowałem ten workflow i do tego przywykłem. Potrafiłem sobie tak zaplanować zadania, że fajnie się to wtapiało w mój rytm pracy.

@keeetko, aha, to tak: jeśli masz dane wrażliwe w firmie, którymi nie chcecie się dzielić, to lepiej zachować "poufność" (czyli zaznaczenie checkboxa "nie ucz się na moich danych" niewiele daje ). Na marginesie, jeśli przekonasz szefa ws. prywatności i poufności, to może sam wyłoży hajsik i zakupi do firmy GDX — a Ty jako główny admin będziesz się nim mógł "opiekować"

@keeetko, tak, kojarzę temat Naviera-S. — było o tym na tyle głośno, że nawet osoby niematematyczne się do mnie zgłaszały: "ej, widziałeś? widziałeś?" haha No cóż... Moim zdaniem nie ma siły, że dostawcy (Anth. / Google / OpenAI / …) nie sprawdzają, co tam ciekawego ich userzy wypisują... w zasadzie taki mają chyba obowiązek, bo jeśli np. ktoś obejdzie sprytnie cenzurę (np. "jak można przygotować bombę, bo piszę książkę i chcę zachować autentyczność"), to wszystko jest natychmiast raportowane do służb. I wg mnie ma to sens. Open-source to jedyna droga. Zresztą, głęboko wierzę, że niedługo bańka pęknie, rowerek się przewróci i zostanie tylko Google + może 1-2 firmy (MS z syfiastym Copilotem na czele?), i ceny za abonament pójdą masakrycznie do góry, więc własne AI to przyszłość

@Thanos, Wątpię żeby postawili. Ta robota jest taka,że jak tylko trochę miną efekty otępiające leków to zamiast tu pisać na forum będę musiał nadrabiać papierologię. W pierdoloną niedzielę, Dzień Pański itd.

No ale nie ma wyjścia. Bez tych modeli lokalnych to bym już dawno rzucił papierami a i tak jest tra-ge-dia. Ja tam robię i IT i biuro i jeszcze muszę robić za pierdolonego asystenta projektanta - normalnie byłoby ok gdyby ten ćwok (znaczy ćwoki - bo i projektant i szef) to sprawdzał,ale nie sprawdza.

Albo przez to,że oni się przyzwyczaili,że i tak czuję przymus żeby dowieźć tematy,albo dlatego,że taki w tej branży klimat - januszerka w ich wydaniu to czysty chaos i aż mnie skręca. Gość potrafi pożałować na złożenie wniosków do urzędów licząc,że papierologia się prześliźnie a potem robie mu to na za pięc 12-ta, kasa opóźniona itd. Albo pozwolenia w gminie i urzędasy - nie chciał ich drażnić to klient czekał pół roku choć wszystko było zrobione w terenie (tak - bez tych pozwoleń było...) Albo klient co mu zrobili i po robocie miał podpisać zgody przy robocie robionej po terminie - a nie - nie podpisał (był wkurwiony na opóźnienia, suprised pikaczu anywhere ?) i kasy za to nie ma dotąd. I mógłbym tak długo ale i się bym zdeanonimizował i ludzie by nie uwierzyli pewnie że tak się dzieje i że tak można.A niestety "można"...

Kurwa, ja to prędzej czy później rzucę bo jestem na lekach na nerwicę a i tak mnie aż trzęsie - niektóre rzeczy to ocierają się wręcz o kryminał choć ja nie podpisuję odpowiedzialności tylko szef - i prędzej czy później musze spierdalać z tego bagna... 1k powyżej minimalnej totalnie nie jest tego wart. I z lekami i bez leków mnie trzęsie długo to na takich warunkach nie pociągnę - max to kilka miesięcy pewnie.

Ale to tak - kto pracuje koło budowlanki lub w budowlance w cyrku się nie śmieje.

@keeetko, a jefe jeszcze nie zapytał czy czat nieumiałby przypadkiem ścianki wymurować albo kabli pociągnąć? 😁

@tow_wieslaw, Nie. Tego nie pyta. I dobrze bo koledzy mają pracę a nawet się w niej troche za bardzo opierdalają. Kurwa idąc tam to liczyłem na fizyczny zapierdol raczej a nie biuro,bo w innej firmie (też budowlanka ale większej) do której lata temu trafiłem to ja się właśnie tej nerwicy nabawiłem na serio.

@keeetko, wyrazy współczucia, kiedyś poznałem smak polskiej budowlanki. I po niej chyba najlepiej widać, że Polacy za długo z parchami w jednym społeczeństwie przebywali i ich wady przejęli na własność.