Моделі глибокого навчання для вирішення задачі класифікації текстової інформації
Антон Концевой, Олег БісікалоАналіз тексту в цілому є новою галуззю вивчення. Такі галузі, як маркетинг, управління продуктами, наукові дослідження та управління, вже використовують процес аналізу та вилучення інформації з текстових даних. У попередньому дописі ми обговорили технологію класифікації тексту, одну з найважливіших частин аналізу тексту. Класифікація тексту або категоризація тексту - це діяльність по позначенню текстів природною мовою відповідними категоріями із заздалегідь визначеного набору. Якщо говорити непросто, класифікація тексту - це процес вилучення загальних тегів із неструктурованого тексту. Ці загальні теги походять із набору заздалегідь визначених категорій. Класифікація вмісту та продуктів за категоріями допомагає користувачам легко шукати веб-сайт чи програму та переходити до них. Класифікація тексту, також відома як категоризація тексту, є класичною проблемою в обробці природної мови (NLP), метою якої є призначення міток або тегів для текстових одиниць, таких як речення, запити, абзаци та документи. Вона має широкий спектр застосувань, включаючи відповіді на запитання, виявлення спаму, аналіз настроїв, категоризацію новин, класифікацію намірів користувача, модерування вмісту тощо. Текстові дані можуть надходити з різних джерел, включаючи веб-дані, електронні листи, чати, соціальні мережі, квитки, страхові виплати, відгуки користувачів, а також запитання та відповіді від служби підтримки клієнтів. Текст є надзвичайно багатим джерелом інформації. Але витягувати корисні дані з тексту зазвичай складно та займає багато часу через неструктурований характер природно-мовної інформації. Моделі, засновані на глибокому навчанні, перевершили класичні підходи на основі машинного навчання в різних завданнях класифікації текстів, включаючи аналіз настроїв, категоризацію новин, відповіді на запитання та умовивід природної мови. У цій статті проводиться огляд найбільш поширених моделей класифікації текстів на основі глибокого навчання, розроблених за останні роки, проаналізовано їхній технічний внесок, схожість та сильні сторони
Використані джерела
[1] Bisikalo, O., & Kontsevoi, A. (2020). System for definition of indicator characteristics of social networks participants Profiles. In Proceedings of the 4th International conference on computational linguistics and intelligent systems (COLINS 2020) (Vol.2604, pp. 77-88). Lviv: Lviv Polytechnic.
[2] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. Cambridge: MIT Press.
[3] Wang, S., & Manning, C.D. (2012). Baselines and bigrams: Simple, good sentiment and topic classification. In Proceedings of the 50th annual meeting of the Association for Computational Linguistics: Short papers (Vol. 2, pp. 90-94). Jeju Island: Association for Computational Linguistics.
[4] Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning, C.D., Ng, A.Y., & Potts, C. (2013). Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 conference on empirical methods in natural language processing (pp. 1631-1642). Seattle: Association for Computational Linguistics.
[5] Zhang, X., Zhao, J., & LeCun, Y. (2015). Character-level convolutional networks for text classification. in Advances in neural information processing systems. In Proceedings of the 28th international conference on neural information processing systems (NIPS'15) (Vol. 1, pp. 649-657). Cambridge: MIT Press.
[6] Zhao, W., Peng, H., Eger, S., Cambria, E., & Yang, M. (2019). Towards scalable and reliable capsule networks for challenging NLP applications. In Proceedings of the 57th annual meeting of the association for computational linguistics (p. 1549-1559). Florence: Association for Computational Linguistics.
[7] Hamilton, W., Ying, Z., & Leskovec, J. (2017). Inductive representation learning on large graphs. In Proceedings of the 31st international conference on neural information processing systems (NIPS'17) (pp. 1025-1035). New York: Red Hook.
[8] Sun, Y., Wang, S., Li, Y.-K., Feng, S., Tian, H., Wu, H., & Wang, H. (2020). Ernie 2.0: A continual pretraining framework for language understanding. In Proceedings of the AAAI conference on artificial intelligence (Vol. 34(05), (pp. 8968-8975). Burnaby: PKP Publishing. doi: 10.1609/aaai.v34i05.6428.