Многомодальный пользовательский интерфейс с поддержкой передачи эмоций на основе искусственных нейронных сетей |
В Рекомендации МСЭ-T H.862.5 представлены функциональные объекты и архитектура многомодального пользовательского интерфейса с поддержкой передачи эмоций на основе искусственных нейронных сетей. Ввиду того, что технология передачи эмоций продолжает вносить значительные улучшения в областях взаимодействия человека с компьютером (HCI), многие компании и исследователи изучают технологию передачи эмоций. Различные приложения, в которых используется многомодальность и анализ эмоций, также внедряются в настоящее время с технологией искусственного интеллекта. Вместе с тем многие из современных систем пока не могут корректно определять эмоции человека, так как некоторые системы либо слишком зависимы от определенных источников, либо слишком слабы для реальных условий. Вследствие этого, предлагаемая архитектура системы предназначена для многомодального пользовательского интерфейса (UI) на основе анализа эмоций с некоторыми свойствами и иллюстрациями, а также данными искусственной нейронной сети. Мультимедийные данные для ввода содержат текст, речь и изображение. Для одномодального анализа эмоций данные проходят предварительную обработку в соответствующем модуле. Например, текстовые данные предварительно обрабатываются с помощью функций приращения данных, распознавания личных атрибутов, распознавания кластера тем, уплотнения документов, распознавания именованных сущностей, разделителя предложений, кластера ключевых слов и преобразования предложений в графы. |
|
Citation: |
https://handle.itu.int/11.1002/1000/14690 |
Series title: |
H series: Audiovisual and multimedia systems H.800-H.899: E-health multimedia systems, services and applications H.860-H.869: Multimedia e-health data exchange services |
Approval date: |
2021-06-13 |
Provisional name: | F.EMO-NN |
Approval process: | AAP |
Status: |
In force |
Maintenance responsibility: |
ITU-T Study Group 16 |
Further details: |
Patent statement(s)
Development history
|
|
|
Ed. |
ITU-T Recommendation |
Status |
Summary |
Table of Contents |
Download |
1
|
H.862.5 (06/2021)
|
In force
|
here
|
here
|
here
|
|
ITU-T Supplement
|
Title
|
Status
|
Summary
|
Table of contents
|
Download
|
H Suppl. 6 (04/2006)
|
Control load quantum for decomposed gateways
|
In force
|
here
|
here
|
here
|
H Suppl. 9 (05/2008)
|
Gateway control protocol: Operation of H.248 with H.225.0, SIP, and ISUP in support of emergency telecommunications service (ETS)/international emergency preference scheme (IEPS)
|
In force
|
here
|
here
|
here
|
H Suppl. 11 (02/2009)
|
Analysis of class-based home network QoS solutions
|
In force
|
here
|
here
|
here
|
H Suppl. 12 (11/2013)
|
Gateway control protocol: Priority traffic treatment by ITU-T H.248 gateways
|
In force
|
here
|
here
|
here
|
H Suppl. 13 (10/2015)
|
Gateway control protocol: Common ITU-T H.248 terminology - Release 2
|
In force
|
here
|
here
|
here
|
H Suppl. 14 (10/2015)
|
Gateway control protocol: SDP codepoints for gateway control - Release 2
|
In force
|
here
|
here
|
here
|
H Suppl. 15 (01/2017)
|
Conversion and coding practices for HDR/WCG Y'CbCr 4:2:0 video with PQ transfer characteristics
|
In force
|
here
|
here
|
here
|
H Suppl. 17 (11/2014)
|
Guide for addressing accessibility in standards
|
In force
|
here
|
here
|
here
|
H Suppl. 18 (10/2017)
|
Signalling, backward compatibility and display adaptation for HDR/WCG video coding
|
In force
|
here
|
here
|
here
|
H Suppl. 19 (04/2021)
|
Usage of video signal type code points
|
In force
|
here
|
here
|
here
|
Title |
Approved on |
Download |
Testing of personal audio systems for compliance with ITU-T H.870 (2018)
|
2024
|
|
Testing of personal audio systems for compliance with ITU-T H.870 (2018)
|
2021
|
here
|
Telecommunications Accessibility Checklist
|
2006
|
here
|
Roadmap for Telemedicine
|
2006
|
here
|
|