Migrate Cloud Exchange Fargate to AMI EC2 VM

このドキュメントでは、Netskope Cloud ExchangeをAWS Fargate（Cloud Exchange 5.0.0）からAMI EC2 VM（Cloud Exchange 5.1.2）に移行する方法について説明します。

前提条件

移行プロセスを開始する前に、バックアップ、復元、および移行中に構成や権限の問題が発生しないように、以下の条件が満たされていることを確認してください。

Cloud Exchange FargateがCloudFormation経由でデプロイされ、ステータスがCREATE_COMPLETEまたはUPDATE_COMPLETEであることを確認してください。

AWS ECS > Cluster > Taskにアクセスして、ECS クラスターと Fargate タスクが実行されていることを確認してください。
1. クラスターSelect 、以下を確認してください。
  - クラスターの状態はアクティブです。
  - タスクとサービスは実行状態です。
2. AWS EFSにアクセスして、EFSがアクティブになっていることを確認してください。
3. バックアップと復元に必要なIAM権限を確認してください。アカウントにバックアップおよび復元操作を実行するための管理者権限や特定のAWS Backup/EFS権限などの十分な権限がない場合は、移行を実行するユーザーまたはサービスアカウントに必要な権限を持つIAMロールを作成し、アタッチしてください。
  - EFSバックアップとリストア（AWSバックアップ）の場合：
```
backup:CreateBackupVault 
backup:StartBackupJob 
backup:StartRestoreJob 
backup:GetRecoveryPointRestoreMetadata 
backup:ListRecoveryPointsByBackupVault 
efs:DescribeFileSystems 
efs:DescribeMountTargets 
efs:CreateFileSystem 
efs:CreateMountTarget
```
  - EC2にEFSをマウントするには：
```
ec2:DescribeInstances 
ec2:DescribeSecurityGroups 
ec2:DescribeSubnets 
ec2:DescribeVpcs
```
  - バックアップ/復元にカスタム IAM ロールを使用する場合は、AWS バックアップと ECS/Fargate に対して信頼ポリシーが設定されていることを確認してください。
```
{
  "Version": "2012-10-17",
  "Statement": [
   {
    "Effect": "Allow", 
    "Principal": {
      "Service": "backup.amazonaws.com"
    },
    "Action": "sts:AssumeRole"
  }
 ]
}
```
4. Mongoダンプは前提条件です。Mongoダンプを収集するには、「Mongoダンプの収集」セクションを参照してください。
5. メンテナンスパスワードについて：
  - Cloud Exchangeプラグインのデータを収集するためにMongoDBを使用し、データベースへのアクセスにはMongoDBのユーザー名とパスワードが必要です。
  - パスワードを忘れた場合、または使用できない場合は、実行中のコンテナーを使う環境変数からクレデンシャルを取得する手順について、「メンテナンスパスワードを忘れた場合」セクションを参照してください。
移行を実行する前に

Cloud Exchange Fargate のデータ取り込みを停止するには：
1. すべてのモジュールでサードパーティ製プラグインをすべて無効にし、キューに入っているタスクが完了するまで待ってから移行を進めてください。
2. キュー内のタスクを特定するには、次の手順を実行します。
  1. すべてのモジュールでソースプラグインを無効にした後、20～30分お待ちください。
  2. ログにフィルタを適用する：
    1. Go to the Logging section.
    2. Filter Queryをクリックしてください。
    3. フィルタフィールドに、次のフィルタクエリを入力します: message Like “Ingested” || message Like “Stored” || message Like “task(s)” || message Like “Completed storage” 。
    4. Loadをクリックしてください。
    5. 関連するログを表示するには、フィルターを適用してください。
  3. ログの監視：ログフィルタが適用された後、新しいログを監視します。このフィルターに該当する新しいログが表示されない場合は、次のセクションに進んでください。
CloudShell経由でクラスターに接続します

クラスターに接続するには：

AWSコンソールで、左下のパネルにあるcloudshellに移動し、次のコマンドを実行します。
```
aws ecs execute-command \
 --region eu-central-1 \
 --cluster Netskope-CE-netskope-ce-Cluster \
 --task d16d1e82*****772a1c \
 --container mongodb-primary \
 --command "/bin/bash" \
 --interactive
```
注記
- 最初の引数：地域名。
- 2 番目の引数: クラスター名 (クラスター名Netskope -CE- Netskope -ce-Cluster をAmazon ECS > Clustersで検索します)。
- 3番目の引数: タスクID (タスクIDはAmazon ECS > Cluster > Taskで見つけます)。
- 4番目の引数: コンテナ名 ( Amazon ECS > Cluster > Task > Containersでコンテナ名を検索)。
- 第5の論点：命令。
モンゴダンプを集める

AWS cloudshellにアクセスし、クラスターに接続してから、mongo ダンプを収集します。
command:
```
mongodump --uri="mongodb://<username>:<password>@host:port/cte" --out=/data/db
```
example:
```
mongodump --uri="mongodb://admin:admin123@localhost:27016/cte" --out=/data/db
```
メンテナンスパスワードを忘れた

クレデンシャルを忘れた場合は、環境変数で見つけることができます。
```
echo $MONGODB_USERNAME 
echo $MONGODB_PASSWORD
```
カスタム保管庫を作成する

バックアップ保管庫は、バックアップを保存および整理する場所です。Cloud Exchange Fargateデプロイメントの移行に必要なEFSバックアップを格納するための新しいボールトを作成する必要があります。

カスタムバックアップ保管庫を作成するには：
1. 地域を選択してください。
  - 同じリージョンでのカスタムバックアップボールトの作成:
    Cloud Exchange を同じ AWS リージョンに移行する必要がある場合は、そのリージョンに単一のバックアップボールトを作成する必要があります。この保管庫にはバックアップ復旧ポイントが保存され、直接 EFSを復元できます。
  - 異なるリージョンにカスタムバックアップボールトを作成する:
    2 つのバックアップボールトを作成します:
    - 1つはソースリージョン（Cloud Exchange Fargateが存在する場所）にあり、初期バックアップを保存します。
    - 移行先のリージョン（Cloud Exchangeを移行する必要がある場所）に1つ設置し、リージョン間バックアップのコピーを受信します。
2. AWS Backup コンソールを開いて新しいバックアップボールトを作成し、 Create backup vaultをクリックします。
3. バックアップ保管庫の名前とタグを入力してください。
4. 暗号化キーSelect 。暗号化の設定で、以下のいずれかを選択してください。
  - Default AWS Backup Key (alias/aws/backup)
  - 顧客管理キー（CMK）：AWS Backupが顧客から提供されたキーを使用してリソースを暗号化および復号化できるようにします。
  - The IAM role initiating the backup should also have the kms:GenerateDataKey, kms:Encrypt, kms:Decrypt, and kms:DescribeKey permissions.
5. Create vaultをクリックしてください。
EFSのオンデマンドバックアップを作成する

Cloud Exchangeを移行するには、まず既存のAmazon EFS（Elastic File System）のバックアップを作成します。
1. 地域を選択してください。AWSコンソールで、現在のリージョンがソースとなるCloud Exchange Fargateデプロイメントのリージョンと一致していることを確認してください。
2. AWS Backup Consoleを開き、 Protected Resourcesに移動して、 Create on-demand backupをクリックします。
3. バックアップジョブの設定：
  - リソースタイプ: EFS (Amazon Elastic File System) Select 。
  - リソースID：ドロップダウンリストから特定のEFSファイルシステムIDを選択してください。
  - バックアップ保管庫：以前に作成したカスタムバックアップ保管庫を選択します。
4. IAM ロール: 必要な権限を含むデフォルトの AWS Backup サービスロール ( AWSBackupDefaultServiceRoleなど) Selectか、カスタムキーが必要な場合は、efs:* 、 backup:* 、および KMS 権限を持つカスタム IAM ロールを選択します。カスタムキー。
5. 設定を確認して、 Create on-demand backupをクリックしてください。
6. バックアップのステータスを監視するには、 Jobs > Backupジョブに移動して進行状況を確認してください。
7. 完了すると、リカバリポイントは次の場所にあります: Backup Vaults > [Vault Name] > Recovery points .
バックアップを別のリージョンにコピーする（同じリージョン内で移行する場合はスキップしてください）

移行対象の Cloud Exchange インスタンスと EFS ファイルシステム (バックアップ元) が異なる AWS リージョンにある場合は、ソースリージョン (バックアップが存在する場所) と宛先リージョン (バックアップが復元される場所) の両方で AWS Backup が有効になっていることを確認してください。さらに、リージョン間コピー操作をサポートするために、必要なIAM権限とKMSキーポリシーを設定してください。

バックアップを別のAWSリージョンにコピーするには：
1. AWS Backup Consoleで、ソースリージョン（リカバリポイントが現在存在するリージョン）を選択します。
2. コピーするリカバリポイントを含むバックアップボルトSelect 。
3. リカバリーポイントを見つけて、その横にあるチェックボックスを選択してください。
4. In the Actions dropdown, select Copy.
5. コピー設定を構成する：
  - 宛先リージョン：リカバリポイントをコピーするAWSリージョンSelect 。
  - 宛先ボルト：宛先リージョンにある既存のバックアップボルトを選択します。
  - 保持期間：コピーしたリカバリポイントを宛先ボルトに保持する日数を指定します。
6. 暗号化設定の場合、コピーされた回復ポイントは、宛先リージョンの KMS キーを使用して暗号化されます。 Select:
  - The default AWS Backup-managed key (alias/aws/backup)
  - または、宛先リージョンにおける顧客管理KMSキー
  Ensure the IAM role and the KMS key policy permit kms:Encrypt, kms:Decrypt, and kms:GenerateDataKey operations.
7. Copyをクリックして、領域間コピー操作を開始します。
8. Jobs > Copy Jobsに移動し、コピーしたジョブのステータスが「完了」と表示されるまで監視してください。
9. AWS Backup > Backup vaults > [Destination Vault] > Recovery Points に移動して、コピーされたバックアップが利用可能であることを確認してください。
10. Copyをクリックしてください。
バックアップを復元する

EFSバックアップが正常に作成され、バックアップコンテナー内でリカバリポイントとして利用可能になった後、復元ジョブを開始してデータを復元できます。

リカバリポイントからバックアップを復元するには：
1. リカバリポイントが作成されたリージョンのAWS Backupサービスにアクセスしてください。別のリージョンを使用する場合は、まずバックアップを新しいリージョンにコピーしてから、そのリージョンから回復ポイントを選択します。
2. Recovery pointsの下で、EFS に関連付けられた復旧ポイントを見つけて、復元ジョブを開始します。リカバリーポイントをSelectしてクリックActions > Restore。
3. Configure Restore Settings:
  - リソースタイプ: EFS Select 。
  - 復元タイプ: Full Restore Select 。これにより、復元されたデータを使用して新しい EFS ファイルシステムが作成されます。
4. Restore to a new file system Select （移行に推奨）。これにより、新しい Amazon EFS ファイルシステムが作成され、そこにデータが復元されます。
5. 暗号化設定を構成する：
  - 暗号化: 有効にするencryption-at-rest for the restored file system 。
  - KMSキー：デフォルトのAWSマネージドキー（ aws/efs ） Selectか、必要な権限を持つカスタマーマネージドキー（CMK）を選択します。
  - カスタムキーを使う場合は KMSの権限に関するドキュメントを参照してください。
6. デフォルトのサービスリンクロール（ AWSBackupDefaultServiceRole ）、または以下の権限を持つカスタムIAMロール：
  - efs:CreateFileSystem
  - efs:CreateMountTarget
  - バックアップ:StartRestoreJob
  - kms:復号化（該当する場合）
7. Restore Backupをクリックしてください。
Netskope Cloud Exchange 用の Amazon EC2 インスタンスを起動します。

移行プロセスの一環として、新しい Amazon EC2 インスタンスがターゲットリージョンにデプロイされ、 Cloud Exchange (CE as VM) プラットフォームをホストします。このインスタンスは復元されたEFSファイルシステムをマウントし、必要に応じてCloud Exchange環境を構成します。

新しい EC2 インスタンスを起動するには:
1. EC2コンソールにアクセスして、新しいインスタンスを起動してください。
2. Amazonマシンイメージ（AMI）を選択してください。
3. Browse more AMIsに移動し、 AWS Marketplaceタブをクリックして、 Netskope Cloud Exchange AMIを検索します。互換性を確保するため、現在のデプロイメントバージョンと一致するAMIバージョンSelect 。価格と条件を確認してから、 Continueをクリックしてください。
4. キーペアを作成または選択し、インスタンスタイプを選択します。
5. ストレージを設定します。
6. ネットワーク設定を構成します。Netskope CE Fargateネットワークとは異なるVPCとサブネットSelect 。
7. セキュリティグループの設定：
  - 既存のセキュリティグループSelectか、新しいセキュリティグループを作成します。
  - 以下の受信ルールが許可されていることを確認してください。
    - IPアドレスからのSSH（ポート22）。
    - UIへのアクセスにはHTTPS（ポート443）を使用します。
    - カスタム TCP (ポート 3000) 内部ポートでCloud Exchange使用する場合。
    - EFSマウント用のNFS（ポート2049）。
8. インスタンスを起動します。
EFSを構成する

AWS Backup を使用してリカバリポイントから EFS ファイルシステムを復元すると、新しい EFS リソースが自動的に作成されます。このEFSをEC2インスタンスからアクセス可能にするには、適切なアベイラビリティゾーンとVPCサブネットにマウントターゲットを作成する必要があります。

EFSを設定するには：
1. EFSコンソールにアクセスし、バックアップを復元するリージョンを選択してください。
2. マウントターゲットを設定するには、復元されたファイルシステムをクリックして詳細を表示します。
3. On the Network tab, locate the Mount targets section.
4. マウントターゲットを作成または更新するには、 Manageをクリックしてください。
5. VPCとネットワーク設定をSelect 。 EC2インスタンスを配置するVPC、アベイラビリティゾーン、サブネット、およびセキュリティグループSelect 。
6. マウントターゲットを作成するには、 AddまたはSave changesをクリックしてください。利用可能になるまで数秒かかる場合があります。
新しい EFS を EC2 サーバーにマウントする

新しい EFS をマウントするには:
1. EC2のパブリックIPv4 DNSをコピーし、SSHコマンドを実行してcteadminとしてログインします。
```
chmod 400 <private-key-path>
ssh -i <private-key-path> cteadmin@<public-ipv4-dns>
```
2. 必要なパッケージをインストールしてください。
```
sudo apt update
sudo apt install -y nfs-common
```
3. AWS EFSコンソールにアクセスし、バックアップEFSが存在するリージョンを選択します。
4. Attachをクリックしてください。
5. Using the NFS clientの下のコマンドをコピーしてください。
6. EC2インスタンス内にマウントディレクトリを作成します。EC2インスタンスでマウントコマンドを実行します。
```
mkdir efs
```
  DNS経由：
```
sudo mount -t nfs4 -o 
nfsvers=4.1,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport <DNS name of new EFS>:/ <output_directory>
```
  または
  IP 経由
  IP は EFS > ネットワークで確認できます。
```
sudo mount -t nfs4 -o 
nfsvers=4.1,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport
$MOUNT_TARGET_IP:/ efs
```
7. 復元されたデータにアクセスするには、 efsディレクトリに移動してください。
Move the old CE Data Files into the cloudexchange Directory

前提条件

新規インストールであり、セットアッププロセスが開始されていないことを確認してください。
cloudexchangeディレクトリを移動する。
1. efsディレクトリ内にある/data/mongo-data/data/db / ディレクトリに移動してください。
```
cd efs/<backup_restore_folder_name>/data/mongo-data/data/db/
```
2. cteフォルダをcloudexchangeディレクトリにコピーします。
```
cp -r cte /opt/cloudexchange/cloudexchange/
```
3. cloudexchangeディレクトリに移動してください。
```
cd /opt/cloudexchange/cloudexchange/
```
4. 使う migrate_mongo_data.sh というスクリプトファイルを作成し、以下のコマンドを行ってください:
```
vi migrate_mongo_data.sh
```
5. 以下の内容をファイルに追加して保存してください。
```
#!/bin/bash 
set -e

[ -z "$MAINTENANCE_PASSWORD" ] && echo "Export the Maintenance Password. export MAINTENANCE_PASSWORD=<password>" && exit 1

[ "$(ls data/mongo-data/data/db | wc -l)" -ne 0 ] && echo "Cannot run migration as the mongo data directory is not empty." && exit 1

sudo chown -R 1001:1001 ./data/mongo-data 

sudo docker run -d -t 
-e MONGODB_ADVERTISED_HOSTNAME=mongodb-primary \
-e MONGO_INITDB_ROOT_USERNAME=root \
-e MONGO_INITDB_ROOT_PASSWORD=$MAINTENANCE_PASSW ORD \
-e MONGO_INITDB_DATABASE=cte \
-e MONGODB_USERNAME=cteadmin \
-e MONGODB_PASSWORD=$MAINTENANCE_PASSWORD \
-v ./data/mongo-data/data/db:/data/db:z \
-v ./data/database-init/mongo-init.sh:/docker-entrypoint-initdb.d/mongo
-init.sh:z \
-v ./cte:/opt/cte:z \
--name mongo-migration \

index.docker.io/netskopetechnicalalliances/cloudexchange:mongo8
-8.0.6

echo "Mongo container started" && sleep 60 
echo "Restoring data..."
sudo docker exec mongo-migration bash -c "mongorestore -u cteadmin -p $MAINTENANCE_PASSWORD --db cte /opt/cte/"

sudo docker stop mongo-migration >/dev/null 2>&1 && echo "Mongo container stopped"
sudo docker rm mongo-migration >/dev/null 2>&1 && echo "Mongo container removed"

echo "Mongo data restored successfully"
```
6. ファイルに実行権限を付与してください。
```
chmod +x migrate_mongo_data.sh
```
7. 変数MAINTENANCE_PASSWORDをエクスポートします。
```
export MAINTENANCE_PASSWORD=<maintenance_password>
```
8. スクリプトを実行してください。
```
./migrate_mongo_data.sh
```
9. efsディレクトリ内にある/dataディレクトリに移動してください。
```
cd efs/<backup_restore_folder_name>/data/
```
10. repoフォルダをcloudexchangeディレクトリにコピーします。
```
cp -r repos /opt/cloudexchange/cloudexchange/data/
```
11. custom pluginsフォルダをcloudexchangeディレクトリにコピーします。
```
cp -r custom_plugins /opt/cloudexchange/cloudexchange/data/
```
12. cloudexchangeディレクトリに移動してください。
```
cd /opt/cloudexchange/cloudexchange/
```
13. cloudexchange.configでは、古いCloud Exchangeデプロイのメンテナンスパスワードを追加します。
```
cp cloudexchange.config.example cloudexchange.config
vi cloudexchange.config
```
14. Cloud Exchangeセットアップスクリプトを実行してください。
```
sudo ./setup
```
15. セットアップが正常に完了したら、開始スクリプトを実行します。
```
sudo ./start
```
Cloudformation スタックの廃止 AWS マネジメントコンソールを使用する

重要

この操作を行うと、IAMロール、VPC、ECS、その他の関連コンポーネントなど、Netskope Cloud Exchangeに関連付けられているすべてのリソースが完全に削除されます。

スタックを廃止するには：
1. AWS マネジメントコンソールにサインインして、 Cloudformation.
2. ナビゲーションペインでStacks を選択し、削除するスタックを選択します。
3. 右上隅のDeleteクリックしてください。確認ダイアログが開きます。Delete Stackをクリックしてください。
4. CloudFormation がスタックの削除を開始します。
  ステータスはDELETE_IN_PROGRESSに変わり、その後DELETE_COMPLETEに変わります。
5. スタックの削除に失敗した場合は、以下を確認してください。
  - リソースに移動して、スキップされたリソースがないか確認してください。そうであれば、そのリソースを手動で削除する必要があります。（例えば、S3バケットがスキップされた場合は、まずバケットを空にしてから削除する必要があります。）
  - 終了保護が有効になっています。
  - 削除できない依存リソース。
  - 権限の問題です。
  - 削除を再試行してください。