Cuando empecé mi carrera en los datos, todo el mundo era un científico de datos. Con el tiempo, comenzamos a diferenciarnos: ¿estás construyendo tuberías de datos, o estás enfocado en la construcción y el entrenamiento de modelos? ¿Eres el que estaba en el cargo de pager durante una interrupción, o sólo estuvieras en la llamada cuando era hora de presentarte al consejo ejecutivo? ¿Eres un ingeniero de datos o un ingeniero analítico? ¿te enfocas en el mantenimiento y la optimización de las tuberías de datos, o es el trabajo de las tuberías simplemente un medio para llegar al fin, un fin que resulta en un dashboard de inteligencia empresarial? Y ahora, esto está sucediendo de nuevo.Nos están diciendo que debemos refinar nuestros roles aún más.¿Estamos enfocados en la automatización, el rendimiento y la calidad de los datos?Si es así, felicitaciones—ahora eres un Ingeniero de DataOps. Pero ¿no ha sido siempre ese el objetivo? Entregar valor empresarial a través de datos siempre ha sido la esencia de nuestro trabajo.La automatización no es un concepto nuevo; siempre ha sido el corazón y el alma de la ingeniería de datos.¿Es DataOps Engineering el título que finalmente nos unirá a todos?El decorador de currículum que finalmente explicará nuestra contribución al éxito empresarial? Así que, si todos somos ingenieros de DataOps ahora, la verdadera pregunta es ¿cómo nos hacemos grandes en ello? ¿Qué es DataOps? DataOps busca tratar los datos como el producto final y valioso que es. Los datos impulsan toda la innovación en el negocio, desde la IA a la automatización, y DataOps finalmente busca el centro de datos delante y el centro donde pertenece correctamente. Esto se hace aplicando principios de ingeniería de software al desarrollo, entrega y gestión de datos.Por ejemplo, aprovechando las pruebas de rendimiento automatizadas e infraestructura como código (IaC), las organizaciones pueden optimizar aún más las operaciones de datos para satisfacer las demandas de negocios con una latencia mínima. Una posible botella: el almacenamiento que se queda atrás El almacenamiento es la base sobre la que se construye todo lo demás. Es el combustible que alimenta su motor, la materia prima que procesan sus tuberías de datos. Si su solución de almacenamiento no puede seguir las exigencias de su motor, va a experimentar barreras de rendimiento. Se ha dicho antes, pero vale la pena repetir: las consultas lentas matan las iniciativas de IA. Invertimos mucho en sofisticados motores de análisis y pasamos horas ajustando nuestro código, pero a veces descuidamos la capa de almacenamiento cuando consideramos el rendimiento. Opciones de datos para mejorar sus iniciativas de datos DataOps puede hacer más que jazz su currículum; también podría acelerar sus planes de IA: El almacenamiento de objetos rápido, con su alta anchura de banda y baja latencia, acelera significativamente la ingesta de datos de diversas fuentes (bases de datos, plataformas de streaming, dispositivos IoT). Faster Data Movement: El almacenamiento de objetos es la mejor opción para la construcción de almacenamientos de datos. A diferencia de los sistemas de almacenamiento tradicionales, el almacenamiento de objetos permite a las organizaciones almacenar grandes cantidades de datos estructurados y no estructurados sin comprometer el rendimiento. , de , y Junto con potentes motores de computación, la arquitectura del lago ofrece capacidades esenciales como la evolución del esquema, el viaje en el tiempo y las transacciones ACID. Estas características son críticas para garantizar la integridad de los datos, la escalabilidad y la agilidad en un mundo impulsado por la IA. Best Choice for Data Lakehouses:  El iceberg de Apache El lago Delta Hudi Al minimizar los tiempos de transferencia de datos, el almacenamiento rápido de objetos permite un procesamiento de datos más rápido.Esto es crucial para las cargas de trabajo de IA que involucran entrenamiento iterativo y refinamiento de modelos, donde cada segundo guardado se traduce a resultados más rápidos y ciclos de desarrollo de modelos más rápidos. Reduced Processing Time: Las soluciones de almacenamiento de objetos escalables permiten a los equipos de IA manejar de forma suave los volúmenes de datos crecientes sin comprometer el rendimiento, asegurando que las tuberías de datos sigan siendo eficientes a medida que crecen las demandas de datos. Enhanced Scalability: Optimiza la velocidad y el rendimiento ¿Cómo puede asegurarse de que su infraestructura de almacenamiento esté optimizada para la velocidad y el rendimiento? No todas las soluciones de almacenamiento se crean iguales.Sólo el almacenamiento de objetos de alto rendimiento será capaz de satisfacer las exigencias colocadas en él por la IA y otras cargas de trabajo intensivas en datos.Mientras que la mayoría del almacenamiento de objetos reclama escalabilidad y flexibilidad, sólo unos pocos tienen el rendimiento necesario para mantener sus tuberías de datos fluyendo sin problemas. Choosing the Right Storage Solution: Prácticas como los datos puede ayudarle a identificar y archivar datos inactivos. Esto libera valioso espacio de almacenamiento para sus datos calientes, los datos a los que su motor de análisis necesita acceder con más frecuencia. Esto puede ayudar a optimizar tanto el rendimiento como el ahorro de costes. Leveraging Data Lifecycle Management: Gestión del ciclo de vida Tiempo Gestión del ciclo de vida Tiempo Monitoree continuamente el rendimiento de su almacenamiento e identifica los obstáculos.Al abordar de forma proactiva los problemas de almacenamiento, puede asegurarse de que sus tuberías de datos funcionen sin problemas y que su motor de análisis funcione en todos los cilindros. Monitoring and Optimization: Elige inteligente Al seleccionar la infraestructura para un alto rendimiento, tus tuberías de datos se humedecerán y entregarán las ideas que necesitas cuando las necesites. Recuerda, una estrategia de DataOps bien ejecutada consiste en eliminar la fricción y optimizar para la velocidad.Y ese viaje al éxito comienza con la elección de la solución de almacenamiento correcta para el trabajo.El segundo paso en ese viaje es formarse. diseñado para ayudar a los ingenieros a ser excelentes en la gestión de su almacenamiento de datos. Puede solicitar más información sobre estos programas . Formación y Certificación Aquí Formación y Certificación Aquí Contacta con nosotros con cualquier pregunta en o en nuestro canal Slack Hola@min.io Hola@min.io

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Developers do. Download MinIO and see for yourself. 

MinIO

Este audio es producido en el idioma original de la historia!

Por qué DataOps se está convirtiendo en el trabajo de todos - y cómo excelerse en él

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps