
Google представила новую нейросетевую архитектуру под названием Titans, которая поможет системам машинного обучения более эффективно обрабатывать большие объемы данных и использовать долгосрочную память, подобно человеческому мозгу. Разработкой Titans занимается команда Google, возглавляемая Али Бехрузом. Основная цель — объединить краткосрочную и долговременную память в одной модели, чтобы преодолеть ограничения традиционных архитектур.
Исследования показывают, что Titans дает отличные результаты в задачах, связанных с языковым моделированием, анализом данных, геномами и решением логических задач, требующих долгосрочного запоминания.
Особенность новой архитектуры — способность работать с миллионами точек данных, не теряя точности. Модуль памяти в Titans решает, какую информацию нужно сохранить, а какую можно отбросить, используя принципы человеческой памяти: краткосрочную память для текущих задач и долгосрочную для более сложных воспоминаний.
Google предложила три версии Titans: MAC (Memory as Context), MAG (Memory as Gating) и MAL (Memory as a Layer), каждая из которых решает конкретные задачи по хранению и использованию памяти. В некоторых тестах Titans показывают лучшие результаты, чем традиционные и даже многие современные архитектуры.
Для сравнения, у ChatGPT есть только 4 тысячи контекстных токенов, что позволяет анализировать около 4 тысяч слов за одну сессию. У Titans же около 2 миллионов токенов, что позволяет работать с целыми книгами.