DevOps/ SRE

🤔 ¿Qué hace Graphext?

Graphext ha creado un software para poder hacer análisis de datos avanzado sin código. Como lo lees. Una herramienta No-Code para la ingesta, la transformación, la limpieza, la visualización y la predicción aplicando algoritmia y modelos matemáticos. Es un producto potente, no, lo siguiente 🔝. Todo esto con la ventaja de manipular las fuentes, las muestras y los segmentos de datos en tiempo real con gesto tan sencillos como clicar, seleccionar o arrastrar.

Cuentan con más de 80 clientes actualmente y eso que todavía no han empezado a hacer labor comercial y de marketing... Para que te hagas una idea, hace 4 años empezaron a construir el producto con una inversión importante de KFund. En total han levantado 1.4M de fondos de inversión privados y recibido 1.7M del H2020, un fondo europeo para startups innovadoras.

📊 ¿Cómo es el producto?

En su web puedes ver cómo funciona el producto. También puedes probar el producto directamente abriéndote una cuenta gratuita.

Además, en su canal de Youtube encontrarás vídeos más explícitos: como este ejemplo o este otro de tipos de análisis que se pueden hacer.

Te lo cuentan mejor ellos, en palabras de Victoriano y Miguel (CEO y CTO de Graphext):

"Con Graphext intentamos que esos analistas, consigan hacer cosas más "predictivas" y “preescriptivas” para sacar conclusiones de los datos como si hubieran estudiado Matemáticas, Física o Informática y supieran escribir código en Python o R... para un montón de casos de uso que nos vamos encontrando. Desde desarrollar fármacos nuevos, a entender por qué se producen ciertos crímenes o por qué se van los empleados de una empresa.

Creemos que las herramientas que hay ahora mismo en el mercado limitan o impiden que muchos de estos analistas las pueda usar porque: necesitas saber programar, no te guían prácticamente nada para descubrir qué funciones de limpieza de datos, enriquecimiento o algoritmia puedes usar para resolver determinados problemas de negocio, son muy poco interactivas y lentas (human in the loop), y sólo te dejan trabajar con datos estructurados (numéricos y categóricos) y se olvidan de todo lo que hoy día con machine learning se puede sacar de információn desesctructurada (textos e imágenes)."

Y si quieres saber más, KFund les entrevistó en su podcast.

💪 ¿Qué reto tienen delante?

Dado que es un software de análisis de datos que buscan que sea muy rápido e interactivo, para que los analistas no pierdan el flow por culpa de la latencia de la red, una gran cantidad de cómputo de datos se realiza directamente en el cliente, en el front. Así que han tenido que montar una arquitectura bastante especial, híbrida, donde hay cálculos que se hacen solo en el front, otros solo en back y algunos con el mismo código se ejecutan en back o front dependiendo del tamaño del dataset. Además de esto, también serializan el estado del proyecto con su propio DSL, para hacer todo muy reproducible y accesible para los usuarios más avanzados y los menos técnicos.

Para dar soporte a toda la flexibilidad que necesita el producto, en back hacen uso extensivo de Docker y Kubernetes, no solo para la integración continua (con Drone CI) y los despliegues, también tienen entornos de prueba efímeros que se crean automáticamente según los desarrolladores van haciendo Pull Requests. Usan Kubernetes gestionados en Google Cloud y además tienen su propio orquestador de tareas (tipo Airflow) para el procesamiento de datos. Este les permite reducir costes y escalar el cómputo en diferentes entornos, desde un portátil de desarrollo a una instalación on-Premise.

¡Ah! Que se me olvidaba. Todo el backend está desarrollado con Ruby On Rails, y los scripts e infra también 🙃 jeje. No esperan que vengas con ese background, pero sí con la disponibilidad de aprender un lenguaje que te va a enamorar. Además, si has trabajado con Python, adaptarte será mucho más sencillo.

Se enfrentan a retos técnicos muy interesantes, desde el front, pasando por el back y los sistemas. Si te apetece ver de cerca cómo se hace software tecnológicamente puntero, no creo que haya muchos sitios como Graphext para aprenderlo de primera mano.

Te dejo por aquí un resumen gráfico del stack y la arquitectura de Graphext.