Ученые ННГУ им. Н.И. Лобачевского занимаются созданием моделей машинного обучения для определения уровня тревожности по акустическим характеристикам голоса. Разработка ведется командой кафедры киберпсихологии факультета социальных наук ННГУ, сообщили в пресс-службе вуза. Анализ эмоционального состояния по голосу широко применяется в сферах образования, психического здоровья и в взаимодействии человека с техникой.
«Автоматическое распознавание стресса по голосу является мощным инструментом для раннего обнаружения перенапряжения — оно помогает своевременно выявлять уязвимые состояния у операторов, диспетчеров и медицинских работников, уменьшая вероятность ошибок и усталости. Также это используется для отслеживания психологического состояния клиента, что особенно актуально при обнаружении случаев мошенничества — когда человек находится под воздействием иллюзий и просит банк выполнить подозрительную операцию», — рассказывает кандидат психологических наук, руководитель кафедры киберпсихологии ННГУ Валерия Демарева.
Стресс проявляется в голосе: вегетативная нервная система вызывает увеличение тонуса мышц и учащение дыхания, что может привести к более «жёсткому» или дрожащему тону, а также к изменениям ритма и тембра речи. В результате меняется высота звучания, громкость и скорость произнесения.
В исследованиях использовался машинный обучающий конвейер, основанный на мел-частотных кепстральных коэффициентах (MFCC). Эти показатели выбраны, потому что эффективно и компактно описывают спектральную информацию речи, являются устойчивыми к шумам после нормализации, позволяют хорошо отличать стили речи и эмоциональные состояния, а также успешно работают на небольших выборках — что делает их идеальной основой для пилотных экспериментов.
Предполагается, что именно эти коэффициенты дают стабильную классификацию стрессового состояния, а объединение их с другими спектральными признаками повышает точность анализа.В рамках пилотного эксперимента ученые ННГУ сравнили речевые записи в двух ситуациях: во время стрессовой публичной презентации и в приватной репетиции. Было выполнено извлечение акустических признаков (преимущественно MFCC), оценена разница между ними, а также проводилась работа с моделью машинного обучения на базе этих признаков для оценки её эффективности.
Для изучения голосовых изменений, связанных с стрессом в научной речи, десять студентов кафедры киберпсихологии подготовили отрывок своей презентации (длительностью 4 – 6 минут) и произнесли его дважды: один раз публично — перед комиссией и коллегами, и один раз — в спокойной личной обстановке без зрителей. Все записи были приведены к частоте 16 kHz и формату моно WAV для унификации данных.
После предварительной обработки каждую четырехминутную запись разбили на не пересекающиеся отрезки по пять секунд, что дало 565 сегментов для приватных и 569 — для публичных выступлений. После обработки сигналов и извлечения MFCC машинный классификатор на базе градиентного бустинга смог достичь точности распознавания тревожных состояний — около 92%. В частности, из 110 приватных сегментов корректно классифицировано 102, а из 111 публичных — 101, без системных ошибок в сторону какого-либо типа.
Теперь ученые намерены расширить выборку, провести валидацию, внедрить более сложные методы адаптации моделей к разнообразным условиям.
Ранее на сайте pravda-nn.ru рассказали, превратится ли Нижний Новгород в южные тропики и что стоит за климатическими рекордами.
Свежие комментарии