Clase 3: Apache Solr + CDH Hue

Solr es una herramienta para operaciones Hadoop mediante indexación a través de XML, JSON, CSV o Binario sobre plataforma HTTP. Los usuarios pueden realizar consultas de grandes volúmenes de información  ya que Apache Solr está configurado para trafico web de alto volumen.
Apache Solr permite:
    - Búsqueda avanzada de texto completo
- Indexación en tiempo real
- Estándares Basados en Interfaces abiertas como XML, JSON y HTTP
- Interfaces completas de administración HTML
- Estadísticas de servidor expuestas a través de JMX para monitoreo
- Replicación de índices automáticos escalable de forma lineal y recuperación     automática de fallos
- Flexible y adaptable, con configuración XML.

Solr es altamente fiable, escalable y tolerante a fallos. Tanto los analistas de datos como los desarrolladores de la comunidad de código abierto confían en las capacidades distribuidas de indexación, replicación y carga equilibrada de Solr.


El panel de control de datos de Cloudera Navigator captura una gran variedad de información sobre datos, metadatos y trabajos de usuario que procesan los datos. El panel de administración de datos proporciona información y métricas para ayudar a comprender el estado del uso de datos  y  permite visualizar tendencias y promedios para una variedad de fuentes de datos y acciones.

Trabajo: Parte SOLR
Ingresando al sitio http://localhost:8983 identificamos que la herramienta es bastante intuitiva y teniendo precargados los archivos a analizar. Aquí se cuenta con una gran variedad de herramientas para explotación de la información.




Trabajo Parte CDH Hue
La herramienta es bastante intuitiva y viene con Layouts.




Con las herramientas de Edición se puede crear un nuevo reporte y editarlo y guardarlo si es necesario.


Se puede guardar la URL y luego seguir editándola desde CDH Hue.
Al crear un nuevo Layout se puede seleccionar el universo de datos a utilizar como base en la gráfica. 


Conclusiones
 - Solr y CDH Hue son intuitivas y fáciles de utilizar
 - A pesar de que los archivos contienen mucha información, la interacción con estos es rápida

Comentarios

Publicar un comentario

Entradas populares de este blog

Clase 4 - METRICAS DE EVALUACIÓN DE SISTEMAS DE RECOMENDACIÓN.

Imagen
MÉTRICAS DE EVALUACIÓN DE SISTEMAS DE RECOMENDACIÓN. Estas métricas nos permite determinar de qué forma los métodos de evaluación propuestos cumplen con el objetivo que se persigue.                 La evaluación se ve influida por algunos indicadores: -           Dependiendo de las características del Set de datos, dependerá el funcionamiento del algoritmo. -           Cuando evaluamos un sistema de recomendación queremos determinar qué tan cerca está la predicción de las elecciones reales de un usuario. No obstante lo anterior, el real objetivo debiera ser ayudar al “usuario” a tomar decisiones correctas. Para realizar predicciones, tenemos: Evaluación tradicional. Predicción de rating Error Absoluto Medio (MAE).              ...
Leer más

Clase 5: Recomendación Basada en contexto

Imagen
-         Contexto, responde a las preguntas: Donde estas, Con quien Estas, Que recursos hay alrededor. Un contexto considerado como relevante varía según el área. -         Obtención de Información Contextual: o    Explicito (Encuestas) o    Implicitamente (información de dispositivos, por ejemplo hora, ubicación) o    Infiriendo (ver comportamientos de distintos usuarios que ven películas con una misma cuenta) -         Contexto en sistemas de recomendación o    Observable / Parcialmente / No Observable o    Estático / Dinámico -         Paradigmas para incorporar contexto: Pre – Filtrado, Post – Filtrado, Modelado Contextual -         Se analizan los casos o    Pre-filtrado, para recomendaciones dependientes basado...
Leer más

Clase 1: Sistemas de Recomendación_Introducción

Imagen
Introducción a los sistemas de recomendación, poniendo como ejemplo el caso de Netflix y Amazon que resolvieron los problemas de recomendación basados en sistemas RecSys (Recommender Systems) Algunos sistemas de recomendación En 1992 Xerox PARC Tapestry MovieLens NetFlix Prize (2007-2009) Netflix en 2012 Netflix en 2017 Revisión de modelos de clasificación del vecino cercano (Knn), revisando pros y contras del modelo, también se revisó el modelo K-means Ranking no personalizado. Varias opciones. Si consideramos que los ítems a rankear tienen valoraciones positivas y negativas, el ranking ideal debería considerar la proporción de valoraciones positivas y la cantidad de muestras consideradas: una opción sería el límite inferior del Intervalo de Confianza del Wilson Score, para un parámetro Bernoulli. Filtrado  colaborativo (basado en el usuario) Buscamos los K usuarios más parecidos a nuestro "active" o "center" user (K-NN). Luego,hacemos pr...
Leer más