Mniejsze modele szkolone na odpowiedziach gigantów
Agencja Reutera przeanalizowała ponad 80 chińskich prac naukowych oraz patentów. Z dokumentów ma wynikać, że badacze związani z Armią Ludowo-Wyzwoleńczą stosują tzw. destylację modeli.
Ma ona polegać na wykorzystaniu wyników generowanych przez zaawansowane systemy AI - takie jak ChatGPT firmy OpenAI czy Claude rozwijany przez Anthropic - do trenowania własnych, mniejszych modeli. Te mogą być następnie dostosowywane do konkretnych zadań i uruchamiane przy znacznie mniejszych wymaganiach sprzętowych.
To istotne w kontekście amerykańskich ograniczeń eksportowych, które utrudniają Chinom dostęp do najbardziej zaawansowanych chipów i dużej mocy obliczeniowej potrzebnej do trenowania wielkich modeli językowych od podstaw.
Reuters wskazuje, że mniejsze, wyspecjalizowane systemy mogą znaleźć zastosowanie w wojsku, m.in. przy sterowaniu bezzałogowcami, analizie danych rozpoznawczych czy operacjach w cyberprzestrzeni.
Kolejny spór między USA a Chinami
Destylacja modeli stała się nowym punktem zapalnym w technologicznej rywalizacji Waszyngtonu i Pekinu. Strona amerykańska zarzuca chińskim podmiotom nieuprawnione pozyskiwanie danych oraz naruszanie praw autorskich. Chiny odrzucają te oskarżenia, mówiąc o amerykańskim „hegemonizmie” w dziedzinie sztucznej inteligencji.
Pekin równocześnie promuje rozwój „odchudzonych” modeli, które mogą działać na urządzeniach o ograniczonej wydajności. Taka strategia pozwala wdrażać AI bez konieczności budowy infrastruktury porównywalnej z zapleczem największych amerykańskich firm technologicznych.
Te dokumenty pokazują, że chińscy badacze powiązani z wojskiem próbują przenieść te kosztowne, chronione prawem autorskim zdolności analityczne zachodnich modeli do mniejszych systemów, które mogą kontrolować - ocenia analityk Sunny Cheung z Jamestown Foundation, cytowany przez Reutersa.
Ekspert zaznacza jednak, że odtworzenie sposobu rozumowania zaawansowanego modelu jest znacznie trudniejsze niż nauczenie systemu udzielania poprawnych odpowiedzi.
Nie pełna niezależność, lecz tańsze narzędzie
Także Trevor Koverko, współzałożyciel firmy Sapien zajmującej się pozyskiwaniem danych dla AI, zwraca uwagę, że modele stworzone w procesie destylacji nie dorównują możliwościami systemom, na których odpowiedziach były szkolone.
Należy na to patrzeć raczej jak na przeniesienie wybranych funkcji do tańszego i kontrolowanego na miejscu systemu, a nie uzyskanie pełnej niezależności - podsumowuje.
