И снова про чтение мыслей. Около 9 месяцев назад появились (https://club.dns-shop.ru/digest/90269-neiroset-stable-diffusion-nauchili-chitat-myisli-cheloveka-isp/) первые эксперименты по использованию Stable Diffusion для визуального чтения мыслей на основе фМРТ. Действительно, в процессе обучения SD формируется пространство визуальных образов, и для чтения мыслей остаётся "сматчить" это пространство на данные фМРТ. К сожалению, такой матчинг оказывается во многом индивидуальным, т.е. прибор для чтения мыслей придётся до-обучать для каждого пользователя.
Очевидно, что аналогичный матчинг можно проделать и с латентным пространством генеративных текстовых сетей типа GPT. Такие эксперименты на основе фМРТ были описаны в Nature Neuroscience в апреле-мае (https://habr.com/ru/news/732834/), а вот сейчас уже появились аналогичные эксперименты от университета Сиднея на основе ЭЭГ (https://m.hightech.plus/2023/12/13/braingpt-perevodit-misli-v-tekst-bez-implantacii). Результаты были представлены на NeurIPS.
/cc @rf