Cette rubrique est une introduction de haut niveau au traitement du langage naturel. Il explique ce qu’est le traitement du langage naturel, quelles sont les applications de traitement du langage naturel les plus courantes et quelles sont les approches de base pour développer des applications de traitement du langage naturel.
comprendre le traitement du langage naturel
Les gens interagissent par le biais d’un langage naturel, qui contient beaucoup d’informations. Par exemple, le choix de différents mots, le ton de la voix et le contexte des phrases peuvent révéler l’humeur, les intentions et les émotions d’une personne.
En outre, les documents texte tels que les livres, les journaux et les blogs regorgent d’informations qui peuvent être utilisées pour diverses tâches. Pour les humains, il faut beaucoup de temps pour comprendre un document, en extraire des informations utiles et prendre des décisions basées sur ces informations.
Et c’est là que le traitement du langage naturel entre en jeu.
Le traitement du langage naturel est défini comme «un domaine de l’intelligence artificielle qui permet aux ordinateurs de lire, de comprendre et d’extraire du sens du langage naturel parlé par les humains».
Avec le traitement du langage naturel, les ordinateurs sont non seulement capables de comprendre le langage naturel, mais ils peuvent également répondre aux humains par le biais du langage naturel. La technologie PNL est utilisée non seulement pour l’interaction homme-machine, mais également pour le traitement de grandes quantités de données d’entreprises dont le traitement manuel prendrait des mois, voire des années.
Par exemple, il peut prendre une semaine-personne pour extraire manuellement des informations d’un livre de mille pages pour un résumé, mais avec le traitement du langage naturel, un résumé similaire d’un texte peut être fait en quelques minutes. De même, il est très coûteux d’embaucher des lecteurs humains pour lire tous les avis des utilisateurs et créer des rapports avec les opinions des utilisateurs sur un produit particulier. Cependant, avec le traitement du langage naturel, les opinions des utilisateurs peuvent être automatiquement extraites du texte, ce qui permet aux entreprises de prendre des décisions organisationnelles.
Applications pratiques du traitement du langage naturel.
De Cortona de Microsoft à Siri d’Apple, la PNL prend en charge un large éventail d’applications. Cette section fournit un bref aperçu de certaines des applications les plus courantes de la PNL.
Analyse des sentiments
La PNL est couramment utilisée pour effectuer une analyse textuelle des sentiments. Les opinions populaires sous forme textuelle, telles que les tweets, les blogs et les avis sur des produits ou des entités spécifiques, contiennent des sentiments. L’analyse des sentiments fait référence à l’identification des sentiments à partir de ces textes. La détection automatique du sentiment du public à propos des tweets peut aider les entreprises à décider comment améliorer leurs produits et lesquels conserver ou supprimer.
Classification du spam et du non-spam.
Gmail et d’autres serveurs de messagerie utilisent des techniques PNL pour distinguer avec précision le non-spam et le spam. Il s’agit d’une application classique de classification de texte, où les documents texte sont classés dans l’une des catégories prédéfinies, c’est-à-dire non-spam ou spam.
Conversion de la parole en texte
Les techniques PNL sont largement utilisées pour convertir automatiquement la parole en texte dans les deux sens. Vous n’avez plus besoin de demander à quelqu’un d’écrire ce que vous dites pour vous pendant que vous le dites. La reconnaissance vocale automatique de Google (https://bit.ly/2N6xYSt) est un exemple classique de conversion de la parole en texte.
Interaction homme machine
Il est révolu le temps où vous deviez appuyer sur une touche du clavier et cliquer sur une souris pour envoyer des commandes à un ordinateur; La PNL a permis aux humains et aux robots d’interagir à travers le langage naturel. Avec l’aide de la PNL, les robots peuvent non seulement comprendre le langage humain, mais aussi répondre aux humains en langage naturel. Sophia (https://bit.ly/2YLprtx) est un exemple classique d’un robot humanoïde interagissant avec des humains via le traitement du langage naturel.
Assistants virtuels augmentés
Comme mentionné précédemment, les techniques de PNL sont également utilisées dans le développement d’assistants virtuels tels que Amazon Alexa, Siri d’Apple et Cortona de Microsoft. Ces assistants personnels virtuels s’appuient sur des méthodes PNL pour comprendre les demandes humaines et répondre en langage naturel.
Génération de texte
Des techniques PNL avancées basées sur le Deep Learning sont désormais utilisées pour la génération de texte. Ces dernières années, des techniques de génération de texte ont été utilisées pour générer de la poésie basée sur des scripts (Game of Thrones). Les techniques de génération de texte en sont encore à leurs débuts.
Feuille de route pour l’apprentissage de la PNL.
Maîtriser la PNL demande du temps et des efforts. Vous ne pouvez pas prétendre être un expert en PNL simplement parce que vous avez lu deux blogs. Cette section décrit comment vous pouvez apprendre la PNL étape par étape.
Pour devenir un bon expert en PNL, vous devez suivre les étapes ci-dessous pour apprendre.
1 Comprendre la signification complète de la PNL
Avant de pouvoir commencer à développer une application PNL, vous devez savoir ce que vous faites réellement. Vous devez comprendre la signification complète de la PNL, son utilité et certaines des principales applications de la PNL. Le premier chapitre de ce livre est consacré à jeter les bases de la théorie du traitement du langage naturel.
2 Apprendre un langage de programmation
Il est impossible de contourner le fait que si vous voulez devenir un expert en PNL, vous devez apprendre un peu de programmation. Vous devez apprendre la programmation pour développer des applications PNL. Bien que vous puissiez utiliser n’importe quel langage de programmation pour programmer des applications en langage naturel, je recommanderais d’apprendre le langage de programmation Python. Python est l’une des bibliothèques les plus utilisées pour la PNL, avec une myriade de bibliothèques PNL de base et avancées. De plus, de nombreuses applications PNL sont basées sur l’apprentissage automatique et l’apprentissage profond. Et Python est un langage qui fournit des bibliothèques de Deep Learning et de Machine Learning faciles à utiliser. En bref, apprenez Python. Le chapitre 2 propose un cours accéléré de prise en main de Python pour les débutants.
3 Commencez par les tâches de base
Commencez avec des applications PNL très basiques. Il est conseillé aux débutants de ne pas commencer à développer des applications PNL tout de suite, mais de se familiariser d’abord avec les tâches PNL les plus courantes et les plus élémentaires. Par exemple, apprenez à désactiver des mots, à diviser des phrases en mots et à diviser des paragraphes en phrases, à trouver des balises de partie de discours pour des mots dans le texte, etc. etc. De plus, maîtriser le nettoyage et la manipulation du texte techniques est un must. Enfin, vous devez maîtriser comment importer des données de diverses sources dans votre application et comment analyser les données d’un site Web pour les importer dans votre application. Les tâches de base de la PNL sont expliquées en détail dans les chapitres 4, 5 et 6.
4 Comprendre comment représenter statistiquement du texte
Comme mentionné précédemment, la plupart des techniques de PNL intègrent les concepts d’apprentissage profond et d’apprentissage automatique, qui sont tous deux de nature statistique. Afin de mettre en œuvre ces techniques en PNL, le texte doit être représenté statistiquement. Il existe plusieurs méthodes qui peuvent être utilisées pour représenter le texte de manière statistique; voir le chapitre 7 pour plus d’informations.
5 Comprendre le Machine Learning et le Deep Learning
Une fois que tous les concepts de base de la PNL ont été appris, les concepts d’apprentissage automatique et d’apprentissage en profondeur, en particulier les algorithmes d’apprentissage automatique supervisé, doivent ensuite être appris. Pour les algorithmes d’apprentissage en profondeur, il convient de se concentrer sur la compréhension des principes de fonctionnement de base des réseaux de neurones densément connectés, des réseaux de neurones récurrents (en particulier LSTM) et des réseaux de neurones convolutifs. Ces concepts seront expliqués au chapitre 3.
6 Développement d’applications PNL avancées
Une fois que vous êtes familiarisé avec les tâches de PNL de base et que vous avez une compréhension de base de l’apprentissage profond et de l’apprentissage automatique, vous êtes prêt à développer des applications PNL avancées. Pour les applications NLP, il est recommandé de développer d’abord des applications d’apprentissage automatique (par exemple, la classification de texte) à l’aide d’algorithmes d’apprentissage automatique tels que la régression logistique, la forêt aléatoire, etc. peut passer à des applications avancées utilisant divers réseaux de neurones basés sur le Deep Learning. La partie 2 de ce livre est consacrée au développement d’applications PNL basées sur le Deep Learning et le Machine Learning.