Mniej danych, więcej biologii

Współczesna sztuczna inteligencja rozwija się głównie dzięki coraz większym modelom, trenowanym na milionach lub miliardach przykładów. Takie podejście jest jednak kosztowne - zarówno finansowo, jak i energetycznie. Tymczasem ludzie uczą się rozpoznawać świat wzrokowy, dysponując zaskakująco niewielką ilością danych.

Reklama

„Obecnie budujemy systemy AI, które wymagają zasobów obliczeniowych porównywalnych z małymi miastami. To kosztuje setki miliardów dolarów. A jednak ludzki mózg radzi sobie znacznie efektywniej” - zauważa Mick Bonner, główny autor badania.

Naukowcy postawili więc pytanie: czy klucz do efektywnego uczenia się nie leży w samej konstrukcji sieci neuronowej, inspirowanej biologią?

Trzy popularne „plany” dla AI

Zespół porównał trzy najczęściej stosowane architektury sieci neuronowych:

  • transformatory, powszechnie używane m.in. w modelach językowych,
  • sieci w pełni połączone,
  • sieci konwolucyjne, inspirowane organizacją ludzkiego układu wzrokowego.

Każdą z tych architektur wielokrotnie modyfikowano, tworząc dziesiątki niewytrenowanych modeli. Następnie badacze pokazali im obrazy ludzi, zwierząt i przedmiotów, porównując reakcje sztucznych sieci z aktywnością mózgu ludzi i naczelnych oglądających te same obrazy.

Zaskakujący zwycięzca: sieci konwolucyjne

Okazało się, że zwiększanie liczby neuronów w transformatorach i sieciach w pełni połączonych nie przynosiło istotnych zmian, natomiast niewielkie modyfikacje architektury sieci konwolucyjnych pozwalały uzyskać wzorce aktywności bardzo zbliżone do tych obserwowanych w ludzkim mózgu.

Co więcej, niewytrenowane sieci konwolucyjne potrafiły dorównać klasycznym systemom AI, które wcześniej przeszły kosztowny trening na ogromnych zbiorach danych. To silna wskazówka, że architektura sieci może być ważniejsza niż sam proces uczenia — przynajmniej na wczesnym etapie rozwoju systemu.

Architektura jako punkt startowy

Reklama

Jeśli to intensywny trening byłby jedynym kluczem do „mózgopodobnej” AI, nie dałoby się uzyskać takich efektów wyłącznie poprzez zmiany w budowie sieci. Tymczasem wyniki pokazują coś przeciwnego.

Odpowiednio zaprojektowana architektura daje AI korzystny punkt wyjścia, może znacząco przyspieszyć uczenie, ogranicza zapotrzebowanie na dane i energię oraz przybliża sztuczne systemy do biologicznych mechanizmów przetwarzania informacji.

Co dalej z „biologiczną” AI?

Kolejnym krokiem zespołu badawczego jest opracowanie prostych algorytmów uczenia inspirowanych biologią, które mogłyby stać się fundamentem nowego podejścia do uczenia głębokiego. Celem jest stworzenie AI, która nie tylko osiąga wysoką skuteczność, ale robi to w sposób bardziej zrównoważony i zbliżony do działania ludzkiego mózgu.

Badania te mogą mieć dalekosiężne konsekwencje dla rozwoju energooszczędnej sztucznej inteligencji. Być może przyszłość AI nie polega na „więcej danych i większe serwery”, lecz na lepszym projekcie inspirowanym ewolucją.

Źródło: Johns Hopkins University