e2e: clean up namespaces after backup-failure tests to avoid interfering with subsequent tests

The test "should handle removal of MantleBackup in secondary k8s cluster during
an incremental backup" was failing with a timeout.

When the previous test (primary MantleBackup deletion scenario) finishes, a
residual secondary MantleBackup is left behind in "waiting for export data"
state because its primary was deleted before the upload completed. When the
next test pauses RGW, the secondary reconciler gets blocked on S3 operations
triggered by processing this residual MantleBackup, causing `kubectl delete
--timeout=3m` issued against the current test's secondary MantleBackup to
expire before finalizeSecondary could run.

Delete both primary and secondary namespaces at the end of each backup-failure
test via DeferCleanup, so that no residual MantleBackups remain when the next
test starts.

Signed-off-by: Kohya Shiozaki <kouyan120706@gmail.com>

Author: skoya76

test/e2e/multik8s/backup_failure_test.go

@@ -14,6 +14,7 @@ var _ = Describe("backup failure", Label("backup-failure"), func() {
 		backupName := util.GetUniqueName("mb-")
 
 		SetupEnvironment(namespace)
+		DeferCleanup(func() { TearDownEnvironment(namespace) })
 
 		// Pause the object storage to make backups fail.
 		PauseObjectStorage(ctx)
@@ -55,6 +56,7 @@ var _ = Describe("backup failure", Label("backup-failure"), func() {
 		restoreName := util.GetUniqueName("mr-")
 
 		SetupEnvironment(namespace)
+		DeferCleanup(func() { TearDownEnvironment(namespace) })
 
 		// Pause the object storage to make backups fail.
 		PauseObjectStorage(ctx)
@@ -106,6 +108,7 @@ var _ = Describe("backup failure", Label("backup-failure"), func() {
 			restoreName0 := util.GetUniqueName("mr-")
 
 			SetupEnvironment(namespace)
+		DeferCleanup(func() { TearDownEnvironment(namespace) })
 
 			// Create MantleBackup M0.
 			CreatePVC(ctx, PrimaryK8sCluster, namespace, pvcName)
@@ -150,6 +153,11 @@ var _ = Describe("backup failure", Label("backup-failure"), func() {
 
 	It("should handle removal of MantleBackup in secondary k8s cluster during an incremental backup",
 		func(ctx SpecContext) {
+			// このテストが検証するシナリオ:
+			// 「インクリメンタルバックアップの upload が進行中（S3 に届く前）に、
+			//   管理者が secondary の MantleBackup を手動削除しても、
+			//   S3 が回復すれば最終的に正しい状態に戻れるか？」
+
 			namespace := util.GetUniqueName("ns-")
 			pvcName := util.GetUniqueName("pvc-")
 			backupName0 := util.GetUniqueName("mb-")
@@ -158,50 +166,69 @@ var _ = Describe("backup failure", Label("backup-failure"), func() {
 			restoreName1 := util.GetUniqueName("mr-")
 
 			SetupEnvironment(namespace)
+		DeferCleanup(func() { TearDownEnvironment(namespace) })
 
-			// Create MantleBackup M0.
+			// [Step 1] フルバックアップ M0 を作成し、primary/secondary 両方への同期が
+			// 完了するまで待つ。この時点で M0, M0' が SyncedToRemote 状態になっている。
 			CreatePVC(ctx, PrimaryK8sCluster, namespace, pvcName)
 			writtenDataHash0 := WriteRandomDataToPV(ctx, PrimaryK8sCluster, namespace, pvcName)
 			CreateMantleBackup(PrimaryK8sCluster, namespace, pvcName, backupName0)
 			WaitMantleBackupSynced(namespace, backupName0)
 
-			// Pause the object storage to make backups fail.
+			// [Step 2] RGW（オブジェクトストレージ）を停止する。
+			// これにより、以降の upload Job が S3 に届かず詰まるようになる。
+			// defer で最終的に必ず再開されるが、テスト途中は停止したまま。
 			PauseObjectStorage(ctx)
 			defer ResumeObjectStorage(ctx)
 
-			// Create MantleBackup M1.
+			// [Step 3] インクリメンタルバックアップ M1 を作成する。
+			// primary 側では RBD スナップショット取得・エクスポートが行われるが、
+			// upload は RGW 停止中のため S3 に届かず止まる。
 			CreatePVC(ctx, PrimaryK8sCluster, namespace, pvcName)
 			writtenDataHash1 := WriteRandomDataToPV(ctx, PrimaryK8sCluster, namespace, pvcName)
 			CreateMantleBackup(PrimaryK8sCluster, namespace, pvcName, backupName1)
 
-			// Wait until an upload Job is created.
+			// [Step 4] upload Job が作られるまで待つ。
+			// この時点の状態:
+			//   primary:   RBD スナップショット取得済み・エクスポート済み・upload Job 実行中（詰まってる）
+			//   S3:        データはまだ届いていない
+			//   secondary: M1' の K8s オブジェクトは存在するが、import データが S3 にないため待機中
 			WaitUploadJobCreated(ctx, PrimaryK8sCluster, namespace, backupName1, 0)
 
 			primaryMB1, err := GetMB(PrimaryK8sCluster, namespace, backupName1)
 			Expect(err).NotTo(HaveOccurred())
 			secondaryMB10, err := GetMB(SecondaryK8sCluster, namespace, backupName1)
 			Expect(err).NotTo(HaveOccurred())
 
-			// Delete MantleBackup M1'.
+			// [Step 5] secondary の M1' を手動削除する（管理者操作のシミュレーション）。
+			// --timeout=3m で削除完了（finalizer 除去）まで待機する。
+			// ※ システムが自動削除するわけではなく、テストが意図的に行う操作。
 			DeleteMantleBackup(SecondaryK8sCluster, namespace, backupName1)
 
-			// Resume the object storage so that M1' will be deleted correctly after its finalization.
+			// [Step 6] RGW を再開する。
+			// M1' の finalization（finalizeSecondary）は deleteExportData=false で呼ばれるため
+			// S3 アクセスは不要だが、その後 primary が M1' を再作成して upload を再試行するため
+			// RGW が必要になる。
 			ResumeObjectStorage(ctx)
 
-			// M1' should be re-created and synced.
+			// [Step 7] M1' が再作成・同期されることを確認する。
+			// primary の reconcile ループが CreateMantleBackup RPC を毎回呼ぶため、
+			// M1' が削除されていても自動的に再作成される（冪等な動作）。
+			// RGW が戻ったことで upload が完了し、secondary が import して SyncedToRemote になる。
 			WaitMantleBackupSynced(namespace, backupName1)
 
-			// Make sure the PVC in the primary and secondary cluster DOES have a snapshot.
+			// [Step 8] primary/secondary 両方の PVC に M1 相当のスナップショットが存在することを確認。
 			EnsurePVCHasSnapshot(PrimaryK8sCluster, namespace, pvcName, backupName1)
 			EnsurePVCHasSnapshot(SecondaryK8sCluster, namespace, pvcName, backupName1)
 
-			// Make sure we can restore correct data from M0, M0', M1, and M1'.
+			// [Step 9] M0/M0'/M1/M1' の全てから正しいデータを復元できることを確認。
 			EnsureCorrectRestoration(PrimaryK8sCluster, ctx, namespace, backupName0, restoreName0, writtenDataHash0)
 			EnsureCorrectRestoration(SecondaryK8sCluster, ctx, namespace, backupName0, restoreName0, writtenDataHash0)
 			EnsureCorrectRestoration(PrimaryK8sCluster, ctx, namespace, backupName1, restoreName1, writtenDataHash1)
 			EnsureCorrectRestoration(SecondaryK8sCluster, ctx, namespace, backupName1, restoreName1, writtenDataHash1)
 
-			// Make sure all unnecessary resources are removed.
+			// [Step 10] 一時リソース（import Job, export/import 用 PVC 等）が正しく削除されることを確認。
+			// secondaryMB10: 削除された旧 M1'、secondaryMB11: 再作成された新 M1'
 			secondaryMB11, err := GetMB(SecondaryK8sCluster, namespace, backupName1)
 			Expect(err).NotTo(HaveOccurred())
 			WaitTemporaryResourcesDeleted(ctx, primaryMB1, secondaryMB10)

test/e2e/multik8s/testutil/util.go

@@ -486,6 +486,12 @@ func SetupEnvironment(namespace string) {
 	}).Should(Succeed())
 }
 
+func TearDownEnvironment(namespace string) {
+	GinkgoHelper()
+	Kubectl(PrimaryK8sCluster, nil, "delete", "namespace", namespace, "--ignore-not-found")
+	Kubectl(SecondaryK8sCluster, nil, "delete", "namespace", namespace, "--ignore-not-found")
+}
+
 func CreatePod(cluster int, namespace, podName, pvcName string) {
 	GinkgoHelper()
 	err := applyPodMountVolumeTemplate(cluster, namespace, podName, pvcName)