Comment installer CDH et configurer les emplacements de services sur CentOS/RHEL 7 - Partie 4

2. Avant de télécharger ces fichiers, assurez-vous de créer un répertoire cdh sous l'emplacement /var/www/html/cloudera-repos/.

cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh

3. Ensuite, téléchargez les 3 fichiers mentionnés ci-dessus à l'aide de la commande wget suivante.

sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

Étape 2 : Configurer le dépôt Cloudera Manager sur les clients Worker

4. Maintenant, connectez-vous aux serveurs worker et copiez le fichier de dépôt (cloudera-manager.repo) à partir du serveur de dépôt (master1<) vers tous les serveurs de travail restants. Ce fichier repo garantit aux serveurs que tous les colis et RPM requis seront téléchargés à partir du serveur repo lors de l'installation.

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5. Une fois le dépôt ajouté, répertoriez les référentiels activés pour vous assurer que le dépôt cloudera-manager est activé.

yum repolist

Étape 3 : Installer les démons et l'agent Cloudera Manager sur les serveurs de travail

6. Nous devons maintenant installer cloudera-manager-daemons et cloudera-manager-agent sur tous les serveurs restants.

sudo yum install cloudera-manager-daemons cloudera-manager-agent

7. Ensuite, vous devez configurer l'agent Cloudera Manager pour signaler le serveur Cloudera Manager.

sudo vi /etc/cloudera-scm-agent/config.ini

Remplacez le localhost par l'adresse IP du serveur Cloudera Manager.

8. Démarrez l'agent Cloudera Manager et vérifiez l'état.

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

Étape 4 : Installer et configurer CDH

Nous avons des colis CDH dans master1 – serveur de dépôt. Assurez-vous que tous les serveurs disposent du fichier de dépôt Cloudera Manager dans /etc/yum.repos.d/ si vous suivez l'installation automatique à l'aide de Cloudera Manager.

9. Connectez-vous à Cloudera Manager à l'aide de l'URL ci-dessous sur le port 7180 et utilisez le nom d'utilisateur et le mot de passe par défaut de Cloudera Manager.

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. Une fois connecté, vous serez accueilli par la page de bienvenue. Vous trouverez ici les notes de version et les nouvelles fonctionnalités de Cloudera Manager.

11. Acceptez la licence et continuez.

12. Sélectionnez l'édition. La version d'essai est sélectionnée par défaut, nous pouvons procéder avec cela.

13. Maintenant, suivez les étapes d'installation du cluster. Continuez la page de bienvenue.

14. Nommez le cluster et continuez, nous l'avons nommé « tecmint ». Il existe 2 types de cluster que vous pouvez définir. Nous procédons au cluster régulier.

• Cluster régulier : comprendra des nœuds de stockage, des nœuds de calcul et d'autres services nécessaires.
• Cluster de calcul : composé uniquement de nœuds de calcul. Le stockage externe peut être utilisé pour stocker des données.

15. Nous avons déjà installé des agents Cloudera Manager sur tous les serveurs. Vous pouvez trouver ces serveurs dans « Hôtes actuellement gérés ». Pour une installation automatique, vous devez saisir le FQDN ou l'IP des serveurs dans l'option « Nouveaux hôtes » et effectuer une recherche. Cloudera Manager détectera automatiquement les hôtes sur lesquels nous devons installer CDH.

Ici, cliquez sur « Hôtes actuellement gérés », sélectionnez tous les hôtes en sélectionnant « Nom d'hôte » et continuez.

16. Sélectionnez le référentiel : l'utilisation de Parcel est la méthode recommandée. Cliquez sur « Plus d'options » pour configurer le référentiel.

17. Saisissez l'URL du référentiel local comme mentionné ci-dessous. Supprimez tous les référentiels publics restants pointant vers le Web (Cloudera Repositories).

Il s'agit de l'URL du référentiel local CDH que nous avons dans master1.

http://104.211.95.96/cloudera-repos/cdh/

18. Une fois l'URL du référentiel saisie, cette page affichera uniquement les parcelles disponibles. Continuez cette étape.

19. Les colis sont désormais téléchargés, distribués, déballés et activés sur tous les serveurs disponibles.

20. Une fois les Colis CDH activés, inspectez le Cluster. Cette étape effectuera un bilan de santé du cluster. Ici, nous sautons et continuons.

Étape 5 : Configuration du cluster

21. Ici, nous devons sélectionner les Services à installer dans le Cluster. Certaines combinaisons packagées seront disponibles par défaut, nous optons pour les Services personnalisés.

22. Dans les Services personnalisés, nous installons uniquement les Composants principaux (HDFS et YARN ) à des fins de démonstration.

23. Attribuez les rôles au serveur. Nous pouvons personnaliser selon nos exigences. Recherchez le tableau ci-dessous qui décrit la distribution des rôles recommandée pour un petit cluster de base avec 5 à 20 nœuds avec haute disponibilité.

24. Sélectionnez le type de base de données, le nom d'hôte, le nom de la base de données, le nom d'utilisateur et le mot de passe. Comme nous utilisons Embedded PostgreSQL, il sera sélectionné par défaut. Testez la connexion, cela devrait réussir.

25. Cette page affichera les paramètres de configuration par défaut de HDFS et Yarn, y compris les répertoires de données. Passez en revue tous les détails de configuration et vous pourrez apporter des modifications si nécessaire. Alors continuez avec ça.

26. Cette page affichera les détails de la commande « Première exécution ». Vous pouvez le développer pour voir les détails des commandes en cours d'exécution. S'il y a des problèmes de réseau ou d'autorisation dans le cluster, cette étape échouera. Habituellement, cette étape décide du bon déroulement de l’installation du Cluster Building.

27. Une fois l'étape ci-dessus terminée, cliquez sur « Terminer » pour terminer l'installation. Il s'agit du tableau de bord de Cloudera Manager après l'installation de CDH.

http://104.211.95.96:7180/cmf/home

Conclusion

Nous avons terminé l'installation de Cloudera Manager et de CDH avec succès. Dans le Tableau de bord Cloudera Manager, vous pouvez trouver un ensemble prédéfini de graphiques dans lesquels vous pouvez surveiller le processeur du cluster, les E/S du disque, etc. Nous pouvons gérer l'ensemble du cluster à l'aide de ce Cloudera Manager . . Nous verrons toutes les opérations administratives dans les prochains articles.