7-11 ноября 2022 года в Санкт-Петербурге прошла VII Международная конференция «Обработка сигналов изображения и звука в контексте нейротехнологий» SPCN 2022 (Video and Audio Signal Processing in the Context of Neurotechnologies).
В рамках SPCN 2022 состоялся онлайн-хакатон по применению нейротехнологий и методов машинного обучения «AI в кино: Моделирование процесса художественного творчества». Организаторами хакатона выступили Институт физиологии им. И. П. Павлова Российской академии наук, Санкт-Петербургский государственный электротехнический университет «ЛЭТИ», Санкт-Петербургский государственный институт кино и телевидения, АО «Невафильм» и ЧОУ ДПО «Высшая школа киноинженеров». Проект был реализован при поддержке АНО «Платформа НТИ» и федерального проекта «Платформа университетского технологического предпринимательства».
В течение трёх дней междисциплинарные команды искали решение актуального технологического вызова: «AI в кино: Разработка алгоритма автоматического аудиовизуального аннотирования кинофильмов». Поставленные задачи перед участниками могли быть решены только с использованием алгоритмов автоматизированного аудиовизуального аннотирования на базе систем и технологий искусственного интеллекта. Конечный продукт проекта - программный комплекс, создающий в автоматическом режиме аудиовизуальные аннотации оцифрованных кинофильмов и видеоматериалов.
В хакатоне приняли участие 12 студенческих команд. До финала дошли 8 команд. Участники хакатона получат возможность реализовать предложенное решение в программе «Стартапы LETI».
Жюри признало победителем хакатона команду №2 в составе: Артём Власов (РНИМУ), Алина Галанцева (СПбГИКиТ), Татьяна Маркова (СПбГИКиТ), Камилла Спицына (ТУ). Команда заслужила высокую оценку жюри за оригинальную иерархическую схему предложенного алгоритма составления аудиовизуальных аннотаций методом «срезов» пиковых по значимости фрагментов кинофильма, реализуемого с помощью нейронной сети. Студенты смогли алгоритмизировать оценку средств художественной выразительности в кинематографе, детектируя лица и позы персонажей для определения специфических паттернов, классифицируя голоса и эмоции.
Генеральный директор АО «Невафильм» и директор Высшей школы киноинженеров Олег Березин объявил о вручении специального приза за универсальность понятного компьютеру алгоритма команде T.A.T. (Тime. Art. Technology.) Все участники команды - Березина Мария, Тарасенко Наталия и Мамонтова Алиса - студенты СПбГИКиТ.