잘못 구성된 코드로 인해 11월 18일 Azure 중단 발생 – Microsoft

Table Of Contents

• Microsoft says Nov. 18 Azure outage due to misconfigured code
• Overruling Protocol
• The Statement

Microsoft says Nov. 18 Azure outage due to misconfigured code

Microsoft Azure, 기업을 위한 클라우드 플랫폼은 11월 18일에 큰 중단을 겪어 많은 사용자들이 어려움을 겪었습니다. Microsoft는 성명에서 이 중단이 개발자들이 잘못된 코드를 구현한 것 때문이라고 주장했습니다.

Overruling Protocol

Microsoft 개발자들은 소프트웨어의 버그를 수정하기 위해 작업하고 있었던 것으로 보입니다. 버그 해결을 위한 솔루션이 Azure 클라우드 서비스의 대규모 중단을 초래한 것으로 보입니다. Microsoft는 업데이트를 배포하기 전에 테스트를 했다고 밝혔습니다. 그러나 이렇게 큰 플랫폼에서 제어된 테스트 환경 하에 소프트웨어 업데이트의 결과를 정확하게 예측하는 것은 항상 가능한 것은 아닙니다. 따라서 Microsoft는 새로운 업데이트를 섹션별로 배포하는 정책을 따릅니다. 이를 비행이라고 하며 배포를 제한하는 것입니다. 그러나 이번에는 아마도 지나친 열정 때문에 개발자들이 전체 업데이트 패키지를 한 번에 배포하여 모든 서버에 연쇄적인 영향을 미쳤습니다. Azure 블로그에 발표된 성명에서 Azure 팀의 CVP인 Jazon Zander는 다음과 같이 언급했습니다.

결과적으로, 11월 18일 Azure에 대한 연결 비율은 북부 버지니아에서 오후 7시 이후 97%에서 7%-8%로 떨어졌습니다. 달라스의 Azure 데이터 센터는 잠시 동안 완전 중단되었습니다. 유럽의 데이터 센터는 다음 날 깊은 시간까지 복구되지 않았습니다.

그는 또한 버그 수정 및 패치에 대한 표준 배포 정책이 있었지만 명백한 의사소통의 오류가 있었다고 덧붙였습니다. “작은 조각에 걸쳐 변경 사항을 점진적으로 배포하는 표준 비행 배포 정책이 준수되지 않았습니다.”라고 Zander는 썼습니다. Zander는 팀이 Azure 테이블 저장소 프론트 엔드의 구성 문제를 주요 문제로 확인했다고 말했습니다. “구성 스위치가 Azure Blob 저장소 프론트 엔드에 대해 잘못 활성화되었습니다.”라고 Zander는 썼습니다.

테이블 저장소 프론트 엔드는 Blob(대량의 비구조적 데이터를 저장하는 서비스)으로 들어가는 다양한 데이터 유형의 순서를 기록하며 데이터 검색을 안내하는 데 사용될 수 있습니다. 구성 스위치의 오류는 무한 루프를 초래하여 궁극적으로 Azure 클라우드 서비스의 중단을 초래한 것으로 보입니다.

The Statement

원래 업데이트는 Azure 팀이 발견한 몇 가지 버그를 패치하고 클라우드 플랫폼의 성능을 개선하기 위한 것이었습니다. 업데이트는 알파 테스트 단계의 모든 테스트에서 성공을 입증했습니다. 알파 테스트의 성공적인 결과는 아마도 개발자들이 배포의 비행 방법을 포기하게 만들었고, 그들은 업데이트를 한 번에 구현했습니다. 11월 18일에 발생한 결과는 사용자에게 문제를 일으키는 전면적인 중단이었습니다. 이에 대한 응답으로 Azure 관리자는 이제 이러한 사건이 다시 발생하지 않도록 자동 업데이트 관행을 구현했습니다.

사건의 가장 명확한 결과 중 하나로 Zander는 다음과 같이 썼습니다. “Microsoft Azure는 명확한 운영 지침을 가지고 있었지만, 인간의 결정에 의존하는 배포 도구에 격차가 있었습니다… 도구 업데이트로 인해 정책이 이제 배포 플랫폼 자체에 의해 시행됩니다.”

Zander는 클라우드 운영이 더 신뢰할 수 있어야 한다고 인정하며 Microsoft는 그 목표를 계속해서 작업할 것이라고 말했습니다. “우리는 진심으로 사과드리며 이 서비스 중단이 귀하의 애플리케이션 및 서비스에 미쳤을 수 있는 중대한 영향을 인식합니다.”라고 그는 썼습니다.

Zander는 그의 개발 팀의 지나친 흥분에 대해 진심으로 사과했을 수 있지만, 사실 Microsoft는 필요한 테스트 없이 패치와 업데이트를 서두르고 있다는 사실은 변하지 않습니다. 이 문제로 인해 Microsoft는 두 번의 패치 화요일 업데이트에서 BSOD를 발생시키는 결함이 있는 패치/업데이트를 출시해야 했으며, 한 번은 10월에 KB 2949927로, 또 한 번은 12월에 KB 3004394로, 나중에 이를 제거해야 했습니다. 사용자들은 Microsoft가 실제 작업 환경에서 검증된 업데이트/패치만 출시하는 SOP를 마련하기를 희망할 것입니다.