Técnicas de big data para machine learning

Gabriel Sepúlveda

Ingeniero Civil Electrónico, con Mención en Control Automático, Mención Complementaria Computadores, Universidad Técnica Federico Santa María. Candidato a Doctor en Ciencias de la Ingeniería en el área de Ciencias de la Computación, Pontificia Universidad Católica de Chile. Profesor Instructor, Departamento de Ciencia de la Computación, Escuela de Ingeniería, Pontificia Universidad Católica de Chile.

Iván Lillo

Doctor en Ciencias de la Ingeniería, Pontificia Universidad Católica de Chile. Magíster en Ciencias de la Ingeniería, Pontificia Universidad Católica de Chile. Ingeniero Civil Electricista, Pontificia Universidad Católica de Chile. Profesor Instructor, Departamento de Ciencia de la Computación, Escuela de Ingeniería, Pontificia Universidad Católica de Chile.

* EP (Educación Profesional) de la Escuela de Ingeniería se reserva el derecho de remplazar, en caso de fuerza mayor, a él o los profesores indicados en este programa; y de asignar al docente que dicta el programa según disponibilidad de los profesores.

Grandes repositorios de datos han comenzado a surgir en diversos ámbitos de nuestra sociedad. Estos corresponden a fuentes de información masiva, diversa y distribuida, cuyo análisis efectivo ofrece la oportunidad de obtener valiosa información en distintos ámbitos del quehacer social. Sin embargo, esta gran oportunidad presenta también grandes desafíos debido a la incapacidad de las aplicaciones tradicionales para el manejo de grandes volúmenes de datos. 

El presente curso está diseñado para abordar la problemática de Big Data desde la perspectiva del uso de herramientas de manipulación de grandes cantidades de datos y en la aplicación de técnicas de Machine Learning y sistemas computacionales de alto rendimiento sobre grandes fuentes de datos distribuidos. 

La metodología de enseñanza y aprendizaje para este curso online consiste en técnicas metodológicas activas, donde el participante puede interactuar con sus pares y el profesor-tutor a través de los recursos tecnológicos proporcionados por la plataforma educativa virtual destinada para el curso.

La metodología del curso Técnicas de Big Data para Machine Learning es online + Zoom y se imparte a través de una moderna plataforma de aprendizaje.

Se recomienda contar con conocimientos básicos de programación y de comodidad en manejo de terminal (consola). Para Apache Spark, se enfocará el curso específicamente en lenguaje Python. En particular, debe ser capaz de utilizar controles de flujo, distintos tipos de datos y funciones, y diccionarios con Python. 

Si desea evaluar su nivel de Python, puede realizar una prueba opcional gratuita en este link: https://www.hackerrank.com/prueba-python. Se recomienda iniciar los test en orden, ya que van creciendo en dificultad. Los dos últimos tienen un nivel superior al requerido para ingresar al diplomado, y han sido instalados allí sólo como desafío. Si uno de los test falló, se recomienda revisar y ejercitar esos contenidos antes del inicio del programa. 

A continuación, ponemos a su disposición algunos cursos optativos por si desea prepararse previamente al inicio del programa:

• MOOC “Introducción a la Programación en Python I: Aprendiendo a programar con Python”, disponible en el siguiente link: https://www.coursera.org/learn/aprendiendo-programar-python.
• Curso “Herramientas de programación en Python para procesamiento de datos”, disponible en el siguiente link: https://teleduc.uc.cl/curso/herramientas-programacion-python-procesamiento-datos/.

1. Conocer herramientas de manipulación de fuentes de Big Data.
2. Examinar las problemáticas y desafíos más relevantes que conlleva la extracción de conocimiento desde grandes fuentes de datos multimodales y no estructurados.
3. Aplicar técnicas de Machine Learning que puedan escalar al caso de grandes fuentes de datos distribuidos.

La modalidad de capacitación es e-learning asincrónica, por lo que los participantes accederán a una plataforma educativa virtual (LMS). Las actividades se desarrollan en forma remota, lo que permite entregar flexibilidad en los horarios, de manera que cada participante pueda distribuir su tiempo y ser autónomo en su proceso de aprendizaje. No obstante, el proceso de enseñanza-aprendizaje se acompañará con un tutor, quien tendrá un rol de mediador y facilitador, ofreciendo apoyo a los participantes en aspectos técnicos y también administrativos durante la actividad de capacitación. 

Respecto a las estrategias de enseñanza - aprendizaje, se utilizarán videoclases, screencast y clases interactivas para la presentación de contenidos y actividades de aplicación que serán desarrolladas a partir de cuestionarios y tareas, dirigidas a que los participantes resuelvan problemas/situaciones aplicando los conocimientos aprendidos y comprobar la comprensión de los contenidos a través de test automáticos. 

Los participantes también contarán con foros abiertos de consulta, como apoyo a su proceso de aprendizaje, donde podrán interactuar con sus pares y tutor. 

Al inicio del curso se contará con una clase sincrónica en formato streaming, en que el jefe de programa o un profesor del programa, introducirán a los alumnos en las materias a abordar. 

Horas Totales: 75  | Horas directas: 35  | Horas indirectas: 40

Créditos: 4 créditos.

Resultados del Aprendizaje

1. Identificar la problemática y particularidades del manejo de grandes volúmenes de dato en diferentes contextos.
2. Distinguir los principios, bases técnicas y herramientas del ecosistema Hadoop.
3. Utilizar las herramientas del ecosistema Hadoop para el manejo de volúmenes gigantescos de datos.
4. Reconocer el esquema de trabajo Apache Spark para el procesamiento de datos de propósito general.
5. Utilizar las principales herramientas del framework Spark para análisis de datos y aplicación de técnicas de Machine Learning.
6. Aplicar herramientas de visualización para facilitar la interpretación de resulta

Contenidos:

• Ecosistema Hadoop
  • Introducción a Big Data
  • Instalación de herramientas Hadoop
• Herramientas de Ecosistema Hadoop
  • Hadoop MapReduce
  • Apache Hive
  • Apache Pig
• Apache Spark
  • Programación en Apache Spark
• Data Analytics con Apache Spark
  • Apache Flume
  • Spark Streaming
  • Spark SQL
• Machine Learning con Apache Spark
  • Spark MLLIB: Algoritmos supervisados
  • Spark MLLIB: Algoritmos no supervisados
• Técnicas de visualización
  • Reducción de dimensionalidad

• Tres pruebas on-line, todas de igual ponderación :(40% en total)
• Tres actividades de aplicación, la tercera con doble ponderación :(60% en total)

• Calificación mínima del curso 4.0 en su promedio ponderado.

Los participantes que aprueben las exigencias del programa recibirán un certificado de aprobación digital otorgado por la Pontificia Universidad Católica de Chile. 

El participante que no cumpla con la exigencia reprueba automáticamente sin posibilidad de ningún tipo de certificación.

Las personas interesadas deberán completar la ficha de postulación que se encuentra al costado derecho de esta página web y enviar los siguientes documentos al momento de la postulación o de manera posterior a la coordinación a cargo: 

• Currículum vitae actualizado.
• Copia simple de título o licenciatura (de acuerdo a cada programa).
• Fotocopia simple del carnet de identidad por ambos lados.

Cualquier información adicional o inquietud podrás escribir al correo programas@ing.puc.cl.

VACANTES: 40

INFORMACIÓN RELEVANTE

• Con el objetivo de brindar las condiciones de infraestructura necesaria y la asistencia adecuada al inicio y durante las clases para personas con discapacidad: Física o motriz, Sensorial (Visual o auditiva) u otra, los invitamos a informarlo. 
• El postular no asegura el cupo, una vez inscrito o aceptado en el programa se debe pagar el valor completo de la actividad para estar matriculado.
• No se tramitarán postulaciones incompletas.

Puedes revisar aquí más información importante sobre el proceso de admisión y matrícula.