Fuente: Microsoft | abril 11, 2023
Colombia – Para las entidades públicas, recopilar, almacenar y entender al detalle los grandes volúmenes de información que producen, reciben y procesan les permite conocer y atender mejor las necesidades de su sector, prestar mejores servicios a los ciudadanos, aumentar la transparencia y formular políticas públicas más informadas y pertinentes.
Tener terabytes de datos almacenados, no agrega valor por sí solo. Para que esta data sea accionable y productiva, hay que depurarla, ordenarla, hacerla interoperable y entendible para poder analizarla y aplicar inteligencia que permita encontrar tendencias, patrones y hacer predicciones. Adicionalmente, para que la información produzca un mayor valor económico y social, es necesario ponerla a disposición del público. Al fomentar el uso, la reutilización y la distribución gratuita de conjuntos de datos, las organizaciones públicas y privadas, la academia y la sociedad civil reutilizan los datos abiertos de terceros para crear nuevo conocimiento, más innovación y alimentar la investigación.
Para contribuir a esta política y alinearse con las mejores prácticas internacionales, el sector minero energético, uno de los principales motores de desarrollo y uno de los más importantes sectores productivos del país, se ha convertido en un pionero la implementación de una plataforma de acceso y manejo de datos Colombia. Para este sector, tener una fuente unificada, depurada e interoperable de la gran mayoría de la información del sector, no sólo mejora la articulación entre sus actores y permite una toma de decisiones informada, sino que además favorece el diseño de mejores políticas públicas y eleva el interés de los inversionistas en Colombia.
Para el Ministerio de Minas y Energía el impacto que INTÉGRAME genera en el sector minero energético trasciende las esferas económicas e impacta finalmente muy positivamente el capital social del país. Al potencializar la generación y democratización de información de calidad de nuestro sector en un banco de datos, se pueden tomar mejores decisiones y ajustar la política pública a las necesidades de todas y todos los colombianos.
Con herramientas y servicios de la nube de Microsoft Azure, el Ministerio de Minas y Energía construyó INTÉGRAME, una plataforma de información que a través de procesos de interoperabilidad, integración y analítica avanzada agrupa la información del sector, la almacena en una bodega de datos y permite conocer, interpretar y aprovechar información tan relevante para el país como la eficiencia de la producción de energía en las Zonas No Interconectadas- ZNI, datos como el precio del combustible, proyectos estratégicos de oro, carbón y níquel o analizar al detalle los componentes del costo unitario de la energía eléctrica. Son más de 60 indicadores disponibles para la ciudadanía en general, que describen cada pilar del sector minero energético en Colombia y que fortalecen y optimizan las operaciones mineras, energéticas y de hidrocarburos.
Diana María Ochoa, Gerente del Crédito BID, explica que “la idea nació hace más de 10 años durante el boom extractivo. El Gobierno quería asegurarse de tener medidas y bien claras todas las variables que aseguraran la competitividad de Colombia frente a la región. Existía un temor de que los inversionistas prefirieran irse a otros destinos como Perú y Chile debido a que no se tenía suficiente información para tomar decisiones de inversión. Esta coyuntura permitió evidenciar, agrega Diana, las deficiencias del sector en cuanto a gestión de información. De allí surgió la decisión de formular el proyecto y presentarlo al Banco Interamericano de Desarrollo con el objetivo final de modernizar el sector minero energético”.
Luego de un proceso extenso de revisiones y validaciones del Departamento Nacional de Planeación (DNP) y del Ministerio de Hacienda, en 2016 se dio vía libre a su ejecución. El primer reto fue lograr una convergencia del sector alrededor de este proyecto, pues las entidades que lo conforman trabajaban de manera independiente y la adopción tecnológica dependía de los recursos disponibles de cada una. “Reunir a más de 200 personas del sector, líderes, tomadores de decisiones, y llegar a un grupo de preguntas de negocio que pudieran mejorar la actividad del sector minero energético de manera estructural a través de la información fue el mayor desafío”, recuerda Diana María Ochoa.
Intégrame le da sentido a un mar de datos
Hoy, Intégrame avanza en su fase de implementación con más de 17 fuentes de información, no solo del sector sino de otros actores clave como el DANE, XM, el DNP, el Banco de la República o la Superintendencia de Servicios Públicos Domiciliarios – SSPD. Esta diversidad de fuentes es a la vez una de las grandes riquezas y desafíos del proyecto, pues unificar lenguajes, formatos y periodicidad de la captura de enormes cantidades de información que históricamente ha sido recopilada de distintas formas, implicaba un gran cambio operativo para muchos. Pero los resultados han sido tan positivos para todos los actores del sector, donde ya existe un consenso sobre el valor del proyecto y una cultura de datos consolidada y activa.
Por su parte, Nancy Ruales, Especialista Técnica del Crédito BID, agrega que “en este proyecto de interoperabilidad el mayor reto no es la tecnología. Contamos con la infraestructura de Microsoft Azure, que nos hace la vida más fácil, pero la mayor complejidad era saber cuál es ese dato que se requiere y dónde está. Saber si existe el dato, quién lo tiene y si están las personas que tengan el conocimiento y la información para contribuir a alimentar el banco de datos”. Además, desde el punto de vista técnico, agrega Gustavo Alberto Angulo Especialista Técnico del Crédito BID, “necesitábamos una solución que nos permitiera poder leer cualquier origen sin importar la forma y formato en que la información estuviese dispuesta. Gracias a la arquitectura planteada para este proyecto, podemos conectarnos con cualquier tipo de base de datos, con archivos planos, con repositorios Cloud – OneDrive, SharePoint y diversos repositorios más, incluso hemos logrado acceder a fuentes internacionales tipo Bloomberg. Detrás de todo esto existe un Data Factory, un MDM y diversas herramientas Azure que le dan vida a nuestro banco de datos”.
Información a un clic de distancia
Cualquiera que haya tratado de extraer información de un datalake sin tener habilidades avanzadas en ciencia de datos sabe que ahí puede haber un gran obstáculo. Por tanto, la idea del proyecto, justamente, era que esta información fuera útil y usable para todos los interesados, así que el siguiente paso era proyectar la data de una manera clara para que los tomadores de decisiones pudieran acceder a ella, interpretarla, entenderla descargarla y usarla. Ahí fue donde Power BI, un aplicativo de visualización de data, hizo la diferencia. Los tableros o “dashboards” permiten filtrar, visualizar y parametrizar la información a la medida de cada necesidad. Con gráficos sencillos y muy explícitos, cada usuario puede extraer la información sin necesidad de ser un experto.
Adicionalmente, herramientas como Azure Machine Learning permiten a los científicos de datos generar modelos estadísticos y matemáticos para análisis predictivos y prescriptivos que apoyen la toma de decisiones en el sector. Business Insights, una de las “fábricas de software” del proyecto y socio de negocios de Microsoft, ha hecho la magia de volver simple lo complejo y de poner la información a disposición del público con un clic. “Este proyecto ha sido ambicioso y retador, sin embargo, gracias al gran talento humano que conforma nuestro equipo, sumado a la tecnología correcta y de la mano de Microsoft, pudimos entregar un proyecto de alto impacto al gobierno nacional y la ciudadanía” afirma Venancio Esquiaqui Felipe, director general de Business Insights, empresa que trabaja con el Ministerio en la construcción y evolución de Intégrame.
Los avances en interoperabilidad determinarán la expansión de este banco de datos del sector minero energético, cuya fase de implementación se extenderá hasta diciembre de 2023. “Lo que tenemos claro es que este proyecto no finaliza, es evolutivo y en la medida que se presenten más casos de analítica y se integren más datos, seguirá creciendo”, concluye Diana María Ochoa.
Pero ahí no paran los beneficios: gracias a los datos que hoy registra Intégrame, se puede informar al cualquier inversionista interesado en el sector, e identificar comunidades nómadas y generar soluciones energéticas para ellas, de manera más precisa y eficiente. Así, gracias al poder de la data contenida en Intégrame, el Ministerio de Minas y Energía se pone al servicio del país.
Acerca de Microsoft
Microsoft (Nasdaq “MSFT” @microsoft) habilita la transformación digital para la era de la nube inteligente y el entorno inteligente. Su misión es empoderar a cada persona y organización en el planeta para que puedan lograr más.
