Actualizando a HBaseExplorer 0.6.0

Posted on 12/10/2012 by mischorradas

Tras instalar HBaseExplorer 0.5.1 sobre HBase 0.94.2-rc3 anteriormente, se puede actualizar a la versión 0.6.0 (es necesario haber instalado la versión 0.5.1).

Lo primero es borrar todo el contenido de ~/hbexplorer/webapps/ y descargar hbaseexplorer-0.6.0.war en ~/hbexplorer/webapps/.
Tras eso, ejecutar HBaseExplorer para que se despliegue la aplicación web:

cd ~/hbexplorer
bin/catalina.sh start
sleep 60
bin/catalina.sh stop

Hay que borrar y copiar las librerías correctas:

rm ~/hbexplorer/webapps/hbaseexplorer-0.6.0/WEB-INF/lib/hbase-0.90.4-cdh3u2.jar
rm ~/hbexplorer/webapps/hbaseexplorer-0.6.0/WEB-INF/lib/hadoop-core-0.20.2-cdh3u2.jar

cp ~/hadoop/share/hadoop/common/hadoop-common-2.0.1-alpha.jar ~/hbexplorer/webapps/hbaseexplorer-0.6.0/WEB-INF/lib
cp ~/hbase/hbase-0.94.2.jar ~/hbexplorer/webapps/hbaseexplorer-0.6.0/WEB-INF/lib
cp ~/hadoop/share/hadoop/common/lib/commons-configuration-1.6.jar ~/hbexplorer/webapps/hbaseexplorer-0.6.0/WEB-INF/lib
cp ~/hadoop/share/hadoop/common/lib/hadoop-auth-2.0.1-alpha.jar ~/hbexplorer/webapps/hbaseexplorer-0.6.0/WEB-INF/lib
cp ~/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.0.1-alpha.jar ~/hbexplorer/webapps/hbaseexplorer-0.6.0/WEB-INF/lib

Si en algún momento el fichero de log ~/hbexplorer/logs/hbaseexplorer.log indica que falta alguna clase, buscar en ~/hadoop/share/hadoop/ utilizando el comando grep <paquete> * -R.

Iniciar la aplicación:

cd ~/hbexplorer
bin/catalina.sh start

Sólo queda conectarse a http://master00:8888/hbaseexplorer-0.6.0/, y utilizar la misma configuración que la vista para la versión 0.5.1.

Bugs

A pesar de toda la configuración no he conseguido que HBaseExplorer pueda lanzar trabajos sobre Hadoop 2.0, lo que impide obtener estadísticas sobre las diferentes tablas.

Cómo ejecutar HBaseexplorer 0.5.1 con HBase 0.94.2-rc3

Posted on 11/10/2012 by mischorradas

HBaseexplorer permite visualizar los datos de HBase de manera cómoda. No es muy completo, pero es infinitamente mejor que tratar de visualizar los datos descargándolos de HDFS o por otros métodos.
Este artículo es una continuación de Cúster de Hadoop 2.0.1-alpha + HBase 0.94.2-rc3.

Tras leer este artículo, se recomienda leer el artículo que indica cómo actualizar a HBaseExplorer 0.6.0.

Instalación

Descargar HBaseexplorer 0.5.1 y descomprimir el fichero .zip en ~/hbexplorer.

Modificar ~/hbexplorer/conf/server.xml para lanzar el servidor web integrado en un puerto libre (el 8080 lo utiliza HBase como servidor REST, y tal vez nos de problemas). Modificar la línea del conector para que se lance en el puerto 8888 (o cualquier otro):

<Connector port="8888" protocol="HTTP/1.1"
           connectionTimeout="20000"
           redirectPort="8443" />

Lanzar el servicor tomcat integrado para que la aplicación se despliegue. Para ello ejecutar:

cd ~/hbexplorer/
bin/catalina.sh start

Es importante estar en dicho directorio para que se los ficheros de log se guarden en ~/hbexplorer/logs y la información de conexión en ~/hbexplorer/work.

Como tarda un buen rato en cargar, podemos comprobar cuándo termina de cargar mirando el fichero de log:

tail -f logs/catalina.out

Es necesario lanzar la aplicación web una vez para que se descomprima el .war y poder sustituir las librerías de acceso a Hadoop y HBase. En la primera de las ejecuciones HBaseexplorer no funcionará correctamente.

Hay que borrar y copiar las librerías correctas:

rm ~/hbexplorer/webapps/ROOT/WEB-INF/lib/hbase-0.90.4-cdh3u2.jar
rm ~/hbexplorer/webapps/ROOT/WEB-INF/lib/hadoop-core-0.20.2-cdh3u2.jar

cp ~/hadoop/share/hadoop/common/hadoop-common-2.0.1-alpha.jar ~/hbexplorer/webapps/ROOT/WEB-INF/lib
cp ~/hbase/hbase-0.94.2.jar ~/hbexplorer/webapps/ROOT/WEB-INF/lib
cp ~/hadoop/share/hadoop/common/lib/commons-configuration-1.6.jar ~/hbexplorer/webapps/ROOT/WEB-INF/lib
cp ~/hadoop/share/hadoop/common/lib/hadoop-auth-2.0.1-alpha.jar ~/hbexplorer/webapps/ROOT/WEB-INF/lib
cp ~/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.0.1-alpha.jar ~/hbexplorer/webapps/ROOT/WEB-INF/lib

Si en algún momento el fichero de log ~/hbexplorer/logs/hbaseexplorer.log indica que falta alguna clase, buscar en ~/hadoop/share/hadoop/ utilizando el comando grep <paquete> * -R.

Conectarse a http://master00:8888/ y realizar login con:

1 2	usuario: admin contraseña: admin

Tras eso, crear una conexión a HBase haciendo click en el enlace “Create”, y rellenando la siguiente información:

name: clusterhbexplorer

quorum port: 2181

quorum servers: master00

master url: http://master00:60010

job tracker: master00:8033

filesystem url: hdfs://master00:8020/

HDFS user: cluster

Script de start

Añadir al script que establece variables ~/set_variables lo siguiente:

export CATALINA_HOME=/home/cluster/hbexplorer/

Añadir al script de start de Hadoop ~/start-master-all.sh al final de todo lo siguiente:

cd ~/hbexplorer/
bin/catalina.sh start

Script de stop

Añadir al script de stop de Hadoop ~/stop-master-all.sh al final de todo lo siguiente:

~/hbexplorer/bin/catalina.sh stop

Bugs

El log ~/hbexplorer/logs/hbaseexplorer.log crece bastante por algún problema con la sesión HTTP. No he conseguido solucionarlo :(

A pesar de toda la configuración no he conseguido que HBaseExplorer pueda lanzar trabajos sobre Hadoop 2.0, lo que impide obtener estadísticas sobre las diferentes tablas.

Clúster de Hadoop 2.0.1-alpha + HBase 0.94.2-rc3

Posted on 08/10/2012 by mischorradas

Configuración inicial

Crear el usuario cluster en todos los nodos, y con directorio home /home/cluster/.
Crearemos un nodo master00 que contendrá el ResourceMangager, NameNode y JobHistory Server (podrían estar los tres en nodos diferentes). En un nodo a parte podríamos poner el SecondaryNameNode.

Crearemos nodos esclavos slave01, slave02, slave03,… cada uno con un NodeManager y un DataNode.

Crear el script ~/set_paths para configurar todas las variables de entorno necesarias con el contenido:

export HADOOP_PREFIX=/home/cluster/hadoop
export YARN_HOME=/home/cluster/hadoop
export PATH=/home/cluster/hbase/bin:$PATH
export JAVA_HOME=<code>update-java-alternatives -l | grep 1.6 | tail -1 | cut -f3 -d' '</code>

Hadoop

La arquitectura de Hadoop 2.0.1 se compone de: un ResourceManager, un NameNode, un MapReduce JobHistory Server, un SecondaryNameNode (no usaré), varios NodeManagers, varios DataNodes, varios WebAppProxy (no usaré).

Descargar la versión Hadoop 2.0.1-alpha y descomprimirla en ~/hadoop.

Configurar ~/hadoop/etc/hadoop/core-site.xml:

<name>fs.defaultFS</name>

<value>hdfs://master00:8020/</value>

<description>Ruta al NameNode.</description>

</property>

<name>io.file.buffer.size</name>

<description>Tamaño de buffer para ficheros. Por defecto 4096, lo ponemos a 128KB.</description>

</property>

<name>hadoop.tmp.dir</name>

<description>Ruta base para otros directorios temporales.

por defecto es /tmp/hadoop-${user.name}.</description>

</property>

Configurar ~/hadoop/etc/hadoop/hdfs-site.xml para NameNode y los DataNodes:

<name>dfs.blocksize</name>

<description>Por defecto son 64MB, pero pongo 8MB</description>

</property>

<name>dfs.namenode.http-address</name>

<value>master00:50070</value>

The address and the base port where the dfs namenode web ui will listen on.

If the port is 0 then the server will start on a free port.

</description>

</property>

<name>dfs.namenode.backup.address</name>

<value>master00backup:50100</value>

<description>El nodo con el backup del namenode</description>

</property>

<name>dfs.namenode.backup.http-address</name>

<value>master00:50105</value>

The backup node http server address and port.

If the port is 0 then the server will start on a free port.

</description>

</property>

Configurar ~/hadoop/etc/hadoop/yarn-site.xml para ResourceManager y los NodeManagers:

<name>yarn.resourcemanager.address</name>

<value>master00:8032</value>

<description>Dirección a la que los clientes envían los Jobs (ResourceManager).</description>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master00:8030</value>

<description>Dirección de la interfaz del Scheduler para obtener recursos.</description>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master00:8031</value>

<description>Host:puerto de los NodeManagers. (por defecto)</descripcion>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>master00:8033</value>

<description>Dirección de la Intefaz de Administración de ResourceManager.</description>

</property>

<name>yarn.resourcemanager.scheduler.class</name>

<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>

<description>Clase a utilizar como Scheduler de recursos en caso de no desear el que viene por defecto.</description>

</property>

Copiar ~/hadoop/share/hadoop/common/templates/conf/mapred-site.xml a ~/hadoop/etc/hadoop y configurar ~/hadoop/etc/hadoop/mapred-site.xml para los trabajos (Jobs) MapReduce:

<name>mapreduce.jobhistory.address</name>

<value>master00:10020</value>

<description>Host:port del servidor de Historial de Jobs de MapReduce. Lo ponemos en master00.</description>

</property>

Configurar ~/hadoop/etc/hadoop/httpfs-site.xml :

<name>httpfs.home</name>

</property>

HBase

Para trabajar con HBase, ejecutaremos en el nodo master00 lo siguiente: HBase Master y ZooKeeper (único del quorum).
En cada nodo slave ejecutaremos una instancia RegionServer.
Exportar del repositorio la versión hbase-0.94.2-rc3 en /home/cluster/hbase-0.94.2-rc3.

1	svn export http://svn.apache.org/repos/asf/hbase/tags/0.94.2RC3/ hbase-0.94.2-rc3

Modificamos las dependencias de maven para que compile para Hadoop 2.0.1 al especificar el perfil “2.0”. Para ello, editamos el fichero ~/hbase-0.94.2-rc3/pom.xml, y cambiamos la línea que dice:

1	<hadoop.version>2.0.0-alpha</hadoop.version>

por:

1	<hadoop.version>2.0.1-alpha</hadoop.version>

Recompilar HBase para Hadoop 2.0:

1	mvn -Dhadoop.profile=2.0 -DskipTests=true package

Descomprimir el paquete creado ~/hbase-0.94.2-rc3/target/hbase-0.94.2.tar.gz en ~/hbase:

1 2	tar xzf ~/hbase-0.94.2-rc3/target/hbase-0.94.2.tar.gz -C ~ mv ~/hbase-0.94.2 ~/hbase

Modificamos el fichero ~/hbase/conf/regionservers para que esté vacío:

1	echo '' > ~/hbase/conf/regionservers

Modificar ~/hbase/conf/hbase-env.sh y descomentar la línea que dice:

1	export HBASE_MANAGES_ZK=true

Configurar ~/hbase/conf/hbase-site.xml :

<name>hbase.rootdir</name>

<value>hdfs://master00/hbase</value>

<description>Lugar donde guardar los ficheros de HBase. Utiliza HDFS (de Hadoop) en su puerto por defecto.</description>

</property>

<name>hbase.cluster.distributed</name>

<description>Sin esto no hay cluster distribuido. Así de simple.</description>

</property>

<name>hbase.zookeeper.quorum</name>

<value>master00</value>

<description>Como el ZooKeeper lo lanza HBase, aquí ponemos el nombre del nodo master.</description>

</property>

<name>dfs.support.append</name>

<description>Necesario para que funcione con Hadoop</description>

</property>

<name>hbase.master.info.bindAddress</name>

<value>master00</value>

<description>La dirección del ZooKeeper</description>

</property>

</configuration>

Scripts de start/stop del nodo master

Una vez configurado todo, creamos el script ~/start-master-all.sh con el contenido:

#!/bin/bash

$HADOOP_PREFIX/bin/hdfs namenode -format

$HADOOP_PREFIX/sbin/hadoop-daemon.sh start namenode

sleep 1

$YARN_HOME/sbin/yarn-daemon.sh start resourcemanager

sleep 1

$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver

sleep 1

$HADOOP_PREFIX/sbin/hadoop-daemon.sh start datanode

sleep 1

$YARN_HOME/sbin/yarn-daemon.sh start nodemanager

sleep 1

hbase-daemon.sh start zookeeper

sleep 1

hbase-daemon.sh start master

sleep 1

hbase-daemon.sh start regionserver

El script ~/stop-master-all.sh con el contenido:

$HADOOP_PREFIX/sbin/hadoop-daemon.sh stop namenode

$YARN_HOME/sbin/yarn-daemon.sh stop resourcemanager

$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh stop historyserver

hbase-daemon.sh stop regionserver

hbase-daemon.sh stop zookeeper

Scripts de start/stop de los nodos slaves

Creamos el script ~/start-slave-all.sh con el contenido:

$HADOOP_PREFIX/sbin/hadoop-daemon.sh start datanode

$YARN_HOME/sbin/yarn-daemon.sh start nodemanager

sleep 2

hbase-daemon.sh start regionserver

El script ~/stop-slave-all.sh con el contenido:

#!/bin/bash

hbase-daemon.sh stop regionserver

hbase-daemon.sh stop master

$HADOOP_PREFIX/sbin/hadoop-daemon.sh stop datanode

$HADOOP_PREFIX/sbin/hadoop-daemon.sh stop namenode

$YARN_HOME/sbin/yarn-daemon.sh stop nodemanager

$YARN_HOME/sbin/yarn-daemon.sh stop resourcemanager

$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh stop historyserver

hbase-daemon.sh stop zookeeper

Interfaces de usuario

Después de configurar todo lo anterior y ejecutar el nodo master mediante:

. set_variables

start-master-all.sh

# Para parar el master:

stop-master-all.sh

y en el caso de desear esclavos, ejecutar (opcionalmente en el propio master) lo siguiente en cada esclavo:

. set_variables

start-slave-all.sh

# Para parar este slave

stop-slave-all.sh

Se dispondrán de interfaces de usuario web en las siguientes direcciones:

ResourceManager: http://master00:8088
NameNode: http://master00:50070
MapReduce Job History: http://master00:19888

Links

Referencia de puertos por defecto para Cloudera.

Bugs

Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: “master00/192.168.0.6”; destination host is: “master00”:50070;

En a página http://master00:50070/dfsnodelist.jsp?whatNodes=LIVE hay enlaces a los Datanodes vivos. Al pinchar alguno de ellos se muestra el error anterior. Esto es debido a un bug en el que se indica erróneamente cuál es la dirección al IPC del Namenode: nnaddr=. Se puede navegar sustituyendo el puerto 50070 por el puerto IPC de Hadoop 8020, de manera que la dirección:

http://master00:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=%2F&nnaddr=192.168.0.6:50070

se sustituye por:

http://master00:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=%2F&nnaddr=192.168.0.6:8020

Mis Chorradas

Tag Archives: hbase

Actualizando a HBaseExplorer 0.6.0

Bugs

Cómo ejecutar HBaseexplorer 0.5.1 con HBase 0.94.2-rc3

Instalación

Script de start

Script de stop

Bugs

Clúster de Hadoop 2.0.1-alpha + HBase 0.94.2-rc3

Configuración inicial

Hadoop

HBase

Scripts de start/stop del nodo master

Scripts de start/stop de los nodos slaves

Interfaces de usuario

Links

Bugs

Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: “master00/192.168.0.6”; destination host is: “master00”:50070;