
Google a prezentat o nouă arhitectură de rețea neuronală numită Titans, care va ajuta sistemele de învățare automată să proceseze mai eficient volume mari de date și să utilizeze memoria pe termen lung, similar cu creierul uman. Dezvoltarea Titans este realizată de echipa Google, condusă de Ali Behrooz. Scopul principal este de a combina memoria pe termen scurt și pe termen lung într-un singur model, depășind astfel limitările arhitecturilor tradiționale.
Cercetările arată că Titans oferă rezultate excelente în sarcini legate de modelarea limbajului, analiza datelor, genomuri și rezolvarea problemelor logice care necesită memorarea pe termen lung.
Caracteristica principală a noii arhitecturi este capacitatea de a lucra cu milioane de puncte de date fără a pierde precizia. Modulul de memorie din Titans decide ce informație trebuie păstrată și ce poate fi eliminată, folosind principiile memoriei umane: memoria pe termen scurt pentru sarcinile curente și memoria pe termen lung pentru amintiri mai complexe.
Google a propus trei versiuni ale Titans: MAC (Memory as Context), MAG (Memory as Gating) și MAL (Memory as a Layer), fiecare dintre acestea având rolul de a rezolva sarcini specifice de stocare și utilizare a memoriei. În unele teste, Titans au arătat rezultate mai bune decât arhitecturile tradiționale și chiar multe dintre cele moderne.
Pentru comparație, ChatGPT are doar 4.000 de tokenuri de context, ceea ce permite analiza a aproximativ 4.000 de cuvinte într-o sesiune. Titans, însă, dispune de aproximativ 2 milioane de tokenuri, ceea ce permite lucrul cu cărți întregi.