지난 몇 년 동안 큰 기업 내의 데이터 팀과 함께 일하면서 데이터 리더를 많이 만났는데, 그들은 DataOps를 시도하고 실패했다고 말합니다. 패턴은 일반적으로 동일합니다.그들은 표준을 작성하고, 몇 가지 테스트를 추가하고, 관찰 도구를 제시합니다.프로세스가 문서화됩니다.릴리스 체크리스트가 만들어집니다.팀은 그들을 따르려고 노력합니다. 그리고 잔류가 쌓이고 예외가 많아지고 팀은 모든 것을 기억과 긴 시간으로 함께 유지해야합니다. DataOps는 좋은 철학이지만 철학만으로는 팀의 작업을 확장하지 않습니다. DataOps는 원칙이 인간의 노력에 의존하지 않고 시스템에 의해 수행될 때 생생하게 나타납니다. DataOps는 데이터에 대한 대담한 새로운 운영 모델을 제공했습니다. DataOps는 간단한 전제로 구축되었습니다 : 데이터를 제품으로 취급하고 데이터 배달은 소프트웨어 배달과 같습니다. 실제로, DataOps는 소프트웨어 팀이 어려운 방법으로 배운 것에서 직접 끌어들입니다. 수동 릴리스가 아닌 자동 구축 및 배포 테스트는 기본적으로, 영웅적인 노력이 아닌 관찰성 생산, 사후 고고학이 아닌 컨트롤은 배달에 굽혀, 사실 이후에 굽혀 있지 않음 조직이 매달리는 곳은 시스템이 성장하고 변화함에 따라 프로세스를 계속 실행하는 것입니다. DataOps가 실제로 무너지는 곳 DataOps와 어려움을 겪는 대부분의 조직은 데이터 팀이 유지할 수있는 열망적인 최선의 관행으로 그 원칙을 취급하기 때문에 실패합니다. 몇 가지 일반적인 패턴이 나타납니다 : 집행이 없는 표준 팀은 제한일이 도달될 때까지 협약의 명칭, 문서 요구 사항 및 릴리스 절차에 대해 합의합니다.Teams agree on naming conventions, documentation requirements, and release procedures—until deadlines hit. 다수의 중요한 파이프라인이 테스트를 받고 나머지는 “우리는 그것으로 돌아올 것이다”라고 말합니다. 대시보드가 존재하고 화재 경고가 있지만 모니터링하고 응답 할 수있는 능력이 충분하지 않으므로 팀은 여전히 분노한 다운스트림 사용자로부터 실패에 대해 듣고 있습니다. 정책은 작성되지만 집행은 인간이 그들을 적용하는 것을 기억하는 것에 달려 있습니다. 이것은 게으름이 아닙니다.데이터 팀은 그 어느 때보다 더 열심히 일하고 있지만, 수동 프로세스는 작업량을 증가시킵니다. pipelines, teams, and dependencies grow. 자동화 DataOps Discipline 사람들은 "자동화"라고 들을 때 종종 문서를 생성하는 작업, 파이프라인을 스카프링하는 도우미 또는 티켓을 생성하는 매크로를 상상합니다.These types of task automations can be handy, but don't change how the whole system behaves under pressure. 운영 자동화는 데이터 전달을 기본 행동으로 신뢰성있게 구축, 테스트, 배포, 관찰 및 지배하는 시스템을 설립함으로써 방식을 변경합니다. DataOps 자동화는 규율을 집행 할 수있는 기능의 집합입니다. 실제로, 그것은 이렇게 보입니다 : 1) First-Class Workflow로 데이터 제품 배달 파이프라인을 일회용 프로젝트로 취급하는 대신, 환경을 통해 버전화, 문서화, 소유 및 홍보되는 내구성 있고 재사용 가능한 배달물로 포장합니다. 2) 데이터 변경을 위한 자동 CI/CD 스키마 업데이트, 변환 논리, 의존성 업데이트 및 인프라 변경은 일관된 릴리스 경로를 통해 이동합니다. 3) 행동과 연결된 지속적인 관찰성 단순히 "우리는 그것을 볼 수 있습니까?"뿐만 아니라 "우리는 그것이 바뀌었을 때 즉시 알 수 있으며 나쁜 데이터가 배송되는 것을 막는 게이트가 있습니까?" 4) 런타임에서의 통제 집행 정책은 컨트롤이됩니다 : 품질 게이트, 정책 게이트, 감사 트랙, 매일 매일 자동으로 실행되는 준수 검사. 자동화가 데이터 팀의 작업을 변화시키는 방법 자동화에 대한 시인적인 관점은 그것이 인간을 병아리처럼 취급한다는 것입니다. 대부분의 데이터 오그에서는 재능있는 사람들이 귀중한 시간을 훈련받지 못한 작업에 낭비하고 있다는 사실이 사실입니다 : 재개, 화재, 백플, 수동 검증, 릴리스 조정, 정책 체크리스트. 이러한 작업이 자동화되면 데이터 팀은 데이터 제품 설계, 비즈니스 모델링, 신뢰성을 향상시키고 복잡성을 줄이는 것과 같은 실제로 비즈니스를 움직이는 작업에 더 많은 시간을 할애 할 수 있습니다. DataOps는 항상 운영에 관한 것이었습니다 - 그래서 그것을 운영하십시오. 처음부터 DataOps는 규율, 반복성, 그리고 데이터 전달에 대한 신뢰를 가져오기위한 것이 었습니다 - 완벽한 세계 이론이 아니라 운영 현실로. 자동화는 DataOps를 원칙의 집합에서 시스템이 매일 시행하는 정의된 프로세스로 바니다.그것은 표준이 압박을 견뎌내고, 통제가 변화와 일관되며, 신뢰는 희망보다는 측정할 수있는 무언가가가됩니다. 팀이 AI를 구축하고 실행하기 위해 데이터에 의존할 때 데이터가 어떻게 행동하는지에 대한 불확실성은 없습니다.You need confidence that your systems do what you think they do, around the clock. 그것은 항상 DataOps의 약속이었습니다.자동화는 그것을 현실로 만드는 열쇠입니다. 이 이야기는 HackerNoon의 비즈니스 블로그 프로그램에 의해 게시되었습니다. 이 이야기는 HackerNoon의 비즈니스 블로그 프로그램에 의해 게시되었습니다. 이 글은 HackerNoon's에 게시되었습니다. . Business Blogging Program 비즈니스 블로그 프로그램 비즈니스 블로그 프로그램
