В Петербурге подвели итоги «Лиги решений»

За этими задачами стоит вполне конкретная работа. После электронного курса у образовательной организации остаются таблицы с ответами и анкеты с оценками и комментариями. Их нужно разобрать, найти повторяющиеся затруднения, понять претензии слушателей и решить, что менять в программе. Финалисты показали, какую часть этой работы готовы передать программам с ИИ. Вопросы жюри касались и следующего этапа: кто получит доступ к данным, как система переживет отказ модели и что еще придется сделать перед ее внедрением.

Всего чемпионат объединил 84 участника из 17 команд. Заказчики предложили пять кейсов: по два в номинациях «Кампус» и «Профориентация» и один комплексный – в направлении ИИ. Участники работали с реальными запросами образовательных организаций и городских учреждений, консультировались с экспертами и дорабатывали проекты после промежуточных защит. Десять команд дошли до финала.

О запуске соревнования spbIT.ru сообщал 13 апреля. Тогда были обозначены те же направления: образовательные пространства, карьерная навигация и ИИ для корпоративного обучения. Чемпионат проводил Корпоративный университет Санкт-Петербурга при поддержке Совета ректоров вузов Санкт-Петербурга и Ленинградской области и Совета директоров колледжей.

По словам директора университета Эльвиры Ребко, весь цикл, включая прием заявок, проектные школы, отбор и финальные мероприятия, занял почти полгода. Самой сложной частью она назвала многомесячную координацию: нужно было поддерживать мотивацию заказчиков, команд и сотрудников самого университета.

Поскольку защиты трех номинаций шли параллельно, подробнее остановимся на направлении «ИИ-агенты». Заказчиком здесь выступил сам Корпоративный университет. Он предложил автоматизировать три связанные задачи: анализ тестирования, обработку анкет слушателей и построение индивидуальных образовательных маршрутов. Последнее означает подбор следующих курсов с учетом уже пройденного обучения и профессиональных потребностей человека.

В этих проектах ИИ-агент получает файлы или сведения о пользователе и выполняет последовательность действий, чтобы подготовить отчет или рекомендацию. Часть операций можно выполнить обычным программным кодом. Для работы с текстом и объяснений разработчики подключают языковую модель – нейросеть, которая обрабатывает и создает текст. От того, как разделены эти функции, зависят проверяемость расчетов и требования к оборудованию.

Победители из команды «Легенды Будущего» сделали это разделение одним из принципов своего решения. Перед передачей информации нейросети предусмотрели программную очистку от персональных данных. Числовые показатели также рассчитываются программно. «То есть чтобы наши нейросети не галлюцинировали и не выдумывали какие-то числа – мы все расчеты делаем программно», – объяснил выступавший от команды разработчик. Под галлюцинациями в данном случае понимаются правдоподобные, но неверные ответы модели.

Награждение команды «Легенды Будущего» - победителей в номинации «ИИ-агенты»
Источник: Мария Суханова / spbIT.ru

Первый инструмент работает с результатами тестирования. Методист загружает ответы слушателей и эталоны – правильные ответы, с которыми нужно провести сравнение. На выходе он получает таблицу с основными показателями, перечень проблемных вопросов и статистику ошибок. Предусмотрена выгрузка результатов, чтобы специалист мог продолжать работу с документами на своем компьютере. Через встроенный чат можно задать уточняющие вопросы по анализу.

Защита проекта команды «Легенды Будущего»
Источник: Мария Суханова / spbIT.ru

Для методиста такой отчет может стать отправной точкой при проверке курса. Частые ошибки в одном задании дают повод отдельно разобрать его формулировку и соответствующий учебный материал. Сама статистика еще не устанавливает причину затруднений. Вывод о том, что именно нужно исправить, остается за специалистом. Поэтому полезность инструмента зависит и от того, насколько удобно проверить его выводы по исходным ответам.

Первый кейс команды «Легенды Будущего»
Источник: Мария Суханова / spbIT.ru

Во втором инструменте команда автоматизировала обработку обратной связи. Здесь разработчики опирались на методику заказчика: по их словам, у университета уже была собственная формула расчета показателей, и ее решили воспроизвести в программе. Это позволяет сопоставлять новый результат с привычным ручным расчетом. Нейросеть подключается к анализу комментариев, а методист получает таблицы и материалы для оценки учебных программ.

Второй кейс команды «Легенды Будущего»
Источник: Мария Суханова / spbIT.ru

Третье решение предлагает человеку дальнейшие курсы. Учитываются его должность, интересы и история обучения. Авторы добавили небольшой опрос, чтобы уточнять профиль, и объяснение рекомендаций: пользователю сообщают, почему программа может быть ему полезна. В интерфейсе предусмотрено отображение пройденных, текущих и следующих курсов. По замыслу команды, это должно помочь слушателю видеть последовательность своего обучения.

Третий кейс команды «Легенды Будущего»
Источник: Мария Суханова / spbIT.ru

На вопрос жюри о расширении системы разработчики ответили, что профессиональные профили можно добавлять. В основе подбора лежит балльный алгоритм: параметры и их вес допускают изменение. В представленном варианте опрос уточняет интересы человека. Отдельное тестирование профессиональных компетенций команда обсуждала как возможный самостоятельный модуль.

Жюри в номинации «ИИ-агенты»
Источник: Мария Суханова / spbIT.ru

Команда, занявшая второе место, – «Кодовый альянс» из Петровского колледжа – тоже предложила три инструмента. AIAnalyzer анализирует тесты, AIFeedback работает с анкетами и комментариями, AIEduTrack формирует образовательные маршруты. На защите участники описывали общую технологическую основу с возможностью использовать облачные и локальные языковые модели. При локальном варианте модель запускается на оборудовании организации.

Защита проекта команды «Кодовый альянс»
Источник: Мария Суханова / spbIT.ru

В анализе тестов команда сделала акцент на распределении результатов и ошибках. В обработке обратной связи – на удовлетворенности слушателей, повторяющихся темах и предложениях по улучшению программы. У рекомендательного инструмента предусмотрено несколько последовательных ролей: анализ профиля, подбор, проверка и обоснование. По описанию разработчиков, предложенные курсы сверяются с реальным каталогом, чтобы в маршрут не попадали выдуманные программы.

Руководители команды Светлана Щедренкова, заведующая отделом мониторинга образовательной деятельности Петровского колледжа, и Екатерина Гуминская, начальник отдела дистанционных образовательных технологий, рассказали о запросе заказчика на общий интерфейс. Сотрудники должны работать с разными задачами в одной программе. Показателями пользы они назвали сокращение ручной работы и повышение качества обработки. Отдельно собеседницы выделили требования к защите персональных данных.

На слайде «Кодового альянса» была приведена оценка ускорения отдельных аналитических операций: с шести часов до шести минут, или в 60 раз. Это заявленный командой эффект, который еще предстоит сопоставить с работой методистов при внедрении. Сам по себе быстрый расчет не показывает, сколько времени затем займут проверка отчета и исправление возможных неточностей.

Слайд презентации команды «Кодовый альянс» об ускорении работы
Источник: Мария Суханова / spbIT.ru

У «Агентов прогресса» из БГТУ «ВОЕНМЕХ» им. Д. Ф. Устинова, получивших третье место, обработка результатов тестирования разбита на пять этапов: загрузку файлов и эталонов, приведение к общему формату, сравнение ответов, статистику и подготовку отчета. В презентации заявлена обработка одного курса за 10-15 минут. Среди предусмотренных функций – переключение на резервную модель и детализация рекомендаций по отдельным вопросам.

Защита проекта команды «Агенты прогресса»
Источник: Мария Суханова / spbIT.ru

Для анализа комментариев слушателей команда выбрала GigaChat. Итог можно выгрузить в виде аналитической справки, таблицы и страницы с графиками. Авторы также предложили применять подход за пределами обучения: для опросов сотрудников, исследований и обработки клиентских отзывов. Пока это обозначенные ими варианты дальнейшего использования.

В рекомендательном инструменте «Агенты прогресса» учитывают должность, историю обучения и индивидуальные особенности пользователя. На отдельном слайде команда показала опыт обработки данных 323 пользователей: полный проход сократился с 18 часов на этапе разработки до 12 часов к полуфиналу. В эти значения входили паузы между запросами, которые тоже были уменьшены. Поэтому такую цифру нельзя читать как время непрерывной работы нейросети или напрямую сравнивать с обработкой одного курса у другой команды.

Слайд презентации команды «Агенты прогресса» об опыте испытаний на реальных данных
Источник: Мария Суханова / spbIT.ru

Разница между минутами в отдельных операциях и часами при обработке массива важна для будущего заказчика. Ему нужно понимать, какой объем данных стоит за результатом, учитывается ли ожидание ответа и сколько работы остается человеку. В предоставленных материалах нет единого сравнительного испытания всех трех решений. Приведенные оценки показывают результаты и ожидания самих команд, но не позволяют составить общий рейтинг скорости.

Обсуждение после выступлений сделало заметной еще одну часть работы. Жюри спрашивало об авторизации, хранении данных, одновременном доступе и сбоях. Для организации это повседневные условия использования: методисту нужно знать, сохранился ли результат, кто может открыть загруженный файл и что делать, если внешний сервис перестал отвечать.

«Кодовый альянс» пояснил, что встроенной истории обработанных данных в его варианте нет: результаты предлагается выгружать. Чтобы посмотреть изменения за разные периоды, можно загрузить несколько файлов. У «Агентов прогресса» учетные данные в демонстрационной версии хранились в JSON-файле – текстовом файле со структурированными записями. Подключение базы данных команда обсуждала как следующий шаг. На часть вопросов о сроках хранения и ожидании ответа модели участники окончательного ответа не дали.

Победители отдельно уточнили статус размещенного в интернете приложения: это демонстрационный вариант для проверки. Основным способом использования они назвали запуск приложения на локальном компьютере. Место установки программы при этом может отличаться от места обработки текста.

У «Легенд Будущего» предусмотрен сценарий на случай недоступности ИИ. Пользователь может продолжить формирование отчета с помощью обычных алгоритмов обработки данных. Такой отчет будет неполным, но часть результата сохранится. Авторы также рассказали о понятных сообщениях об ошибках для пользователя и подробных технических записях для разработчика. Вместе с тем специальную защиту от промпт-инъекций команда назвала пока не предусмотренной. Это попытки через переданный модели текст заставить ее отступить от заданных инструкций.

Параллельно с ИИ-проектами финалисты защищали решения, которые должны помочь молодым людям выбрать профессию. В номинации «Профориентация» было два заказчика. Центру занятости населения Санкт-Петербурга требовалась модель карьерного хаба для Молодежного карьерного центра – площадки, где знакомство с профессиями связано с практическими заданиями и встречами с работодателями. Академия инженерных технологий и управления предложила разработать карьерный навигатор нового поколения.

В кейсе карьерного хаба первое место заняли «Петростарс» из Петровского колледжа, второе – «Звездный путь» из Академии управления городской средой, градостроительства и печати. Среди представленных подходов были профессиональные пробы, встречи со специалистами и цифровой дневник, в котором участник фиксирует опыт. Другой подход строился на игровых форматах: квестах, мастер-классах и заданиях с участием родителей и работодателей. В обоих случаях школьнику предлагалось получить опыт конкретной деятельности до выбора дальнейшего обучения.

В разработке карьерного навигатора победил «Единый путь» из Санкт-Петербургского государственного университета аэрокосмического приборостроения (ГУАП). Второе место получила «Синергия профессий» из Академии машиностроения им. Ж. Я. Котина. Задание предполагало соединить диагностику интересов, практическое знакомство с профессиями и персональный образовательный маршрут. Для будущего абитуриента смысл такого сервиса – связать выбор учебной программы с представлением о работе, которой он хотел бы заниматься.

Два других кейса относились к номинации «Кампус». Академия транспортных технологий предложила преобразовать столовую в пространство, которое можно использовать также для общения, самостоятельной работы и мероприятий. Первое место за этот проект заняла команда «ИМпульс» из Санкт-Петербургского техникума отраслевых технологий, финансов и права. В материалах финала описаны разные зоны посадки, использование панорамных окон, более удобное движение посетителей, цифровая модель и финансовые расчеты.

Вторым заказчиком в этой номинации стал Политехнический колледж городского хозяйства. Ему требовалась концепция экспозиционно-выставочного пространства «Электроника и связь в истории города и колледжа». Лучшее решение представили «Проводники смыслов» из Петровского колледжа. Второе место занял «Прогресс» из Академии машиностроения им. Ж. Я. Котина. Один из описанных в материалах маршрутов объединяет несколько этажей и знакомит посетителей с историей радио- и телеаппаратуры. Пространство предполагается использовать для экскурсий, открытых занятий и профориентации.

Вопрос о продолжении работы особенно подробно обсуждался с победителями направления ИИ. Команда «Легенды Будущего» состояла из пяти человек. Мария Киселева, студентка-заочница Политеха, рассказала, что заинтересовалась темой агентов и попросила разрешить участие от фонда, поскольку собрать команду через университет ей было сложнее. По ее словам, участников удалось найти за один день через чаты сообщества. Даниил Бурнашов, студент ИТМО, занимался разработкой.

В интервью перед объявлением результатов Даниил пояснил, что команда сознательно ограничивала объем работы требованиями конкурса, учитывая свои ресурсы и неопределенность результата. Дальнейшее взаимодействие с заказчиком участники готовы были обсуждать после победы.

Мария связывает оценку реальной пользы с обратной связью будущих пользователей. По ее словам, «нам нужны определенные метрики и отзывы от тех, кто будет пользоваться». В первую очередь речь идет о методистах и людях, для которых система будет подбирать обучение. Их опыт работы с инструментами, считает участница, должен показать, что требуется доработать.