NAS (Windows Server) Data Migration to Google Shared Drive

Nas 스토리지 서버의 대용량 데이터를 Google Drive의 공유 드라이브로 옮기는 방법에는 여러가지 구글에서 제공되는 Tool이 있습니다.

데이터 크기, 기간, 비용등을 고려해 적합한 마이그레이션 도구를 선택할 수 있습니다.

1) upload on Google Drive web page,

2) Use Backup & Sync.

3) Customized an application through Google Drive API

4) Google Workspace Migrate

기존 고객사로에서 NAS 에서 15TB 가량의 데이터를 Google Workspace 의 공유 드라이브로 마이그레이션 요청이 있었습니다.

해당 마이그레이션의 특징은 local 에서 gsutil 를 이용해 GCP의 GCS(Google Cloud Storage)에 데이터 업로드 GCS 에서 오픈소스 rclone 을 이용해 Workspace Shared Drive 로 옮기는 사례입니다.

[프로젝트 개요]

Objective : 총 15TB 가량의 Data들을 Windows server Local에서 Gdrive로 Migration 해야 하는 상황,

Local의 File이 Gdrive와 같은 상태를 유지하는 것(최신 상태)이 가장 큰 issue.

Migration중에도 직원들이 Local파일들을 사용할 수 있어야 함.

Source는 다수 folder로 나뉘어져 있었으며 폴더 중에는 제외해야할 폴더가 존재하는 경우도 있었음.

Process :1. Source 파일을 Local->GCS Migration

2. GCS -> Gdrive로 Migration

3. Sync process로 Local -> Gdrive 간 최종 동기화 및 검증

4. Gdrive 사용 시작

[Solution]

Local -> Gdrive로 곧바로 Transfer 시에는 Local network의 불안정함에서 오는 Risk가 존재, Error 발생시마다 upload를 재개, upload된 파일과 안된 파일을 구별하는 것에도 적지않은 시간이 소요됨.

In addition, Google Drive API는 대량의 파일 전송에 특화되지 않음. API call 제한, upload 용량 제한 등 제약사항이 존재

-> GCS는 대량의 Upload에 특화됨, Multi-thread upload, retry handling, resumable upload, upload capacity 등..

So 대량의 파일을 Local->GCS upload 후, GCS -> Gdrive로 Migration해 Google internal network 간 Migration으로 Local network에서 오는 Risk를 줄일 수 있다.

[case]

Local -> GCS는 gsutil을 이용해, GCS -> Gdrive는 rclone을 이용해서 Migration하기로 결정.

Rclone은 open-source인 storage migration Tool로 GCS -> Gdrive 간 migration을 지원하는 공식 Tool이 없기 때문에 시중에 나와있는 Tool 중에는 가장 인지도가 높아 선택.

[해당 마이그레이션 솔루션 장점]