Mentionsy
didaskalia
18.01.2026 18:00

Polski Bielik obnaża ograniczenia ChatGPT || Remigiusz Kinas - didaskalia#170

- Jakie są przewagi Bielika w stosunku do innych modeli językowych? - Czym jest suwerenność technologiczna w kontekście AI? - Jak trenuje się duże modele językowe? - Czy AI jest „czarną skrzynką”? Na te i więcej pytań odpowie Remigiusz Kinas, ekspert w dziedzinie uczenia maszynowego, jeden z twórców polskiego modelu językowego (LLM) o nazwie Bielik. Zapraszamy do oglądania kolejnego odcinka programu „didaskalia” Patrycjusza Wyżgi. 00:00:00 Najlepszy fragment 00:02:36 Po co nam Bielik? 00:09:00 Początki polskiego modelu 00:23:28 Suwerenność LLM-ów 00:36:30 Wartość danych 00:44:39 Podejście Yanna LeCuna 00:56:51 Język polski w AI 01:06:24 Ewolucja karty graficznej 01:25:41 Kwestia komputerów kwantowych 01:27:25 Jak wygląda trenowanie modelu? 01:44:21 Czy model to czarna skrzynka? 01:48:43 Debata wokół świadomości modelu 01:54:03 Tokenizacja AI 01:58:10 Biotechnologia napędzana AI 02:09:37 Rozwój AI w 2026

GPU AGI CPU AI Marii Konopnickiej Microsoft RL Yann LeCun LLM MLP AGH NVIDII Hopper Kuby Klawitera Kaglu

Szukaj w treści odcinka

Wyczyść
Znaleziono 3 wyniki dla "MLP"

I teraz jak ja mówię, że LLM to jest 80% mnożenia macierzy, czyli mnożenie macierzy mamy na warstwach projekcyjnych, czyli tam są takie warstwy projekcyjne, później warstwy atencyjne, później mamy takie warstwy, które są warstwami jeszcze MLP, czyli FFM, czyli to są takie warstwy, które dodatkowo jeszcze

Żeby jak najmniej zepsuć ten model wyjściowy, czyli z 11b zrobiliśmy model 7b, usuwając pewne warstwy właśnie transformera i prunując model wszerz, czyli niektóre elementy w elementach MLP, czyli to są takie, nad atencją są dodatkowe takie elementy MLP,

I tam można też zmniejszyć rozmiary, bo myślę, że około 60% w ogóle tego, czy nawet 70% zajętości modelu jest w tych modułach MLP i można tam troszeczkę je zmniejszyć i odzyskać wielkość modelu.

Ostatnie odcinki