Cómo funciona Amazon Storage Gateway: Recorrido completo
Amazon Web Services (AWS) es utilizado por muchos usuarios y organizaciones dada su escalabilidad, fiabilidad y otras ventajas. Al migrar datos a la nube de AWS, debe tener en cuenta ciertas funciones. Por defecto, Amazon proporciona la interfaz web para administrar el entorno de la nube y cargar/descargar archivos. Sin embargo, utilizar la interfaz web para cargar regularmente grandes cantidades de datos puede resultar inconveniente. Si utiliza Amazon S3 como almacenamiento en la nube para sus datos, puede montar un bucket de S3 como disco de red en su sistema operativo.
Montar un bucket como un disco puede simplificar significativamente la copia de archivos a la nube de Amazon. Esta solución es adecuada para pequeñas empresas y usuarios independientes, pero si vas a utilizar el almacenamiento en la nube de Amazon para grandes entornos empresariales, necesitas una solución más escalable. Otro aspecto es que reconstruir toda una infraestructura no es un proceso fácil si la mayoría de los procesos están relacionados con servidores físicos en los centros de datos de su empresa. Afortunadamente, Amazon proporciona una herramienta especial que le permite utilizar su infraestructura física tradicional para copiar datos a la nube de Amazon o desde la nube de Amazon. Esta herramienta se llama AWS Storage Gateway y en esta entrada del blog se explica cómo utilizar y configurar Amazon Storage Gateway.
¿Qué es AWS Storage Gateway?
AWS Storage Gateway es una solución especial que actúa como puente entre sus máquinas físicas o virtuales tradicionales y el almacenamiento en la nube de AWS. Proporciona una integración perfecta entre los entornos locales y en la nube. AWS Storage Gateway proporciona acceso al almacenamiento ilimitado de Amazon S3, Amazon S3 Glacier, Amazon S3 Glacier Deep Archive y Amazon EBS (Elastic Block Storage). Este concepto de integración del almacenamiento local y el almacenamiento en la nube también puede denominarse almacenamiento híbrido. Se requiere una conexión a Internet para Amazon Storage Gateway, ya que debe establecerse una conexión con los servidores de AWS.
Tipos de pasarela de almacenamiento
Existen tres tipos de AWS Storage Gateway: File Gateway, Volume Gateway y Tape Gateway.
Pasarela de archivos. Este tipo de gateway de almacenamiento proporciona acceso a archivos almacenados como objetos en un bucket de Amazon S3 mediante el uso de recursos compartidos SMB (versiones 2 y 3 del protocolo CIFS) y NFS (versiones 3 y 4.1 del protocolo). Debe configurarse un punto de montaje SMB (Server Message Block) o NFS (Network File System) en su sistema operativo para poder acceder a los archivos/objetos de un bucket de S3.
File Gateway es compatible con las siguientes clases de almacenamiento de Amazon S3: S3 Estándar, S3 Estándar-Acceso frecuente (IA) y S3 One Zone-IA. El control de versiones es compatible: puede editar, eliminar y renombrar archivos accediendo a ellos a través de los protocolos NFS o SMB y cada modificación de archivo se almacena como una nueva versión en un bucket de S3. La principal ventaja de utilizar el control de versiones para un recurso compartido de archivos (objetos) es la mayor capacidad de recuperación. Además del control de versiones, puede habilitar la administración del ciclo de vida y la replicación entre regiones para objetos almacenados en Amazon S3.
Puede instalar una VM de Storage Gateway en el servidor 1 del centro de datos 1 y una VM de Storage Gateway en el servidor 2 del centro de datos 2. Si ambas pasarelas están conectadas al mismo bucket y ambos servidores están conectados a la pasarela de almacenamiento apropiada, entonces puede subir un archivo al bucket de S3 desde el servidor 1 y ver ese archivo en el servidor 2 utilizando el recurso compartido NFS o SMB. Esto es posible gracias a la llamada a la API RefreshCache, que inicia un nuevo inventario en File Gateway 2.
Volume Gateway permite a sus servidores y aplicaciones locales conectarse al almacenamiento en bloque de AWS (volúmenes EBS) en la nube mediante el protocolo iSCSI (Internet Small Computer Systems Interface). Mientras que SMB y NFS, utilizados por una pasarela de archivos, son protocolos de compartición a nivel de archivos, iSCSI funciona a nivel de bloques. Existen dos tipos de Volume Gateway – Volúmenes Almacenados y Volúmenes en Caché.
Volúmenes almacenados. Su almacenamiento local, como una unidad de disco duro en un servidor físico o un disco virtual de una máquina virtual, se utiliza como almacenamiento principal de datos. Se hace backup de forma asíncrona en Amazon S3 como instantáneas de EBS. Puede acceder al almacenamiento con baja latencia cuando utilice volúmenes almacenados. El tamaño de los volúmenes almacenados puede oscilar entre 1 TB y 16 TB. Un volumen almacenado se monta como un dispositivo iSCSI.
Volúmenes en caché (Cached Gateway). Los datos de acceso frecuente se almacenan en volúmenes de EBS y los de uso poco frecuente se migran a Amazon S3. Este enfoque es más rentable porque el precio por utilizar buckets de Amazon S3 es inferior al precio por utilizar volúmenes de EBS. El tamaño máximo de un volumen puede ser de 32 TB. Se monta un volumen como dispositivo iSCSI.
Cuando se utiliza una Volume Gateway para el almacenamiento en bloque, los volúmenes se pueden conectar o desconectar de la Volume Gateway. Esta función permite migrar volúmenes entre pasarelas para actualizar el hardware de almacenamiento en servidores locales (on-premises), por ejemplo.
Tape Gateway se utiliza para hacer backup de datos para archivado a largo plazo en Amazon Glacier y almacenar esos datos en cintas virtuales. De hecho, los datos se almacenan en Amazon S3 Glacier o Amazon S3 Glacier Deep Archive. En este caso, la interfaz física utilizada para escribir datos en cintas mediante la conexión de unidades de cinta y bibliotecas de cintas se sustituye por una interfaz de biblioteca de gateway de cintas compatible que permite almacenar datos en la nube de Amazon. El protocolo iSCSI se utiliza para conectar los dispositivos de backup existentes a Tape Gateway. La configuración de backups y el flujo de trabajo existentes pueden conservarse. Puedes guardar los datos en la nube directamente a través de Tape Gateway o utilizando aplicaciones especializadas en backups de datos.
Las pasarelas de cintas pueden utilizarse para hacer backups de datos sin realizar cambios significativos en una configuración de backup existente o como alternativa a las unidades y bibliotecas de cintas físicas (que no son rentables).
Plataformas de host compatibles
AWS Storage Gateway se proporciona como appliance virtual (una imagen/plantilla de máquina virtual) que puede implementarse en diferentes plataformas.
Las plataformas de virtualización de host compatibles son:
- VMware ESXi
- Hyper-V (2012 R2 o posterior)
- Linux KVM
- Amazon EC2
Sin embargo, también existe un appliance de hardware que puede utilizarse si una organización no dispone de ningún hipervisor en su infraestructura. Puede adquirir el hardware del appliance Amazon Storage Gateway en el sitio web de Amazon y se lo enviaremos.
Precios
La política de precios de Amazon para los servicios en la nube prestados es pagar por lo que se usa. Amazon Storage Gateway no es una excepción. El cobro depende del tipo de almacenamiento – Amazon S3 o EBS y de la región de AWS. Si almacena datos en Amazon S3, el precio depende de la clase de almacenamiento de S3 y del número de solicitudes. El precio se calcula por GB al mes. Si almacena datos en volúmenes EBS, las instantáneas se facturan si se toman. En cuanto a Amazon Storage Gateway, se le cobra por el uso del gateway (por gateway al mes). Puede consultar los precios reales en el sitio web de Amazon en cualquier momento.
Ventajas de AWS Storage Gateway
Las principales ventajas de utilizar Amazon Storage Gateway son:
- Integración de configuraciones de hardware y software sin cambios de hardware.
- La posibilidad de utilizar almacenamiento en la nube y local en Amazon (el concepto de almacenamiento híbrido).
- Migración sin problemas de la infraestructura física a la nube de AWS.
¿Cómo implementar AWS Storage Gateway?
Averigüemos cómo implementar AWS Storage Gateway para obtener acceso a archivos almacenados como objetos en Amazon S3 mediante la conexión a una puerta de enlace de archivos a través de NFS. Debe tener una cuenta de AWS y un host ESXi para ejecutar la VM de Storage Gateway.
Descargar la imagen
Abra la interfaz web de la consola de AWS.
Haga clic en Servicios y seleccione Puerta de enlace de almacenamiento en la categoría Almacenamiento.
En la página Puerta de enlace de almacenamiento, haga clic en el botón Crear puerta de enlace de la sección Puertas de enlace del panel de navegación. En esta página puede encontrar las pasarelas de almacenamiento creadas anteriormente, si están presentes.
Se abre el asistente Crear pasarela.
Seleccione el tipo de puerta de enlace. Seleccione Pasarela de archivos para almacenar archivos como objetos en Amazon S3. Haga clic en Siguiente en cada paso del asistente para continuar.
Seleccione la plataforma host. Hay cinco plataformas host compatibles para la implantación. Seleccione VMware ESXi y haga clic en el botón Descargar imagen.
Guarda el archivo. En nuestro caso el nombre del archivo descargado es aws-storage-gateway-latest.ova y guardamos este archivo en D:\virtual\ en una máquina local. No cierres la pestaña actual del navegador con el asistente de creación de gateway mostrado en la interfaz web de AWS porque necesitarás continuar configurando el gateway de almacenamiento desde este paso más adelante.
Instalación del appliance virtual en un host ESXi
Ahora tienes que desplegar el archivo de plantilla aws-storage-gateway-latest.ova descargado en un host ESXi. En nuestro ejemplo los hosts ESXi son gestionados por vCenter y utilizaremos la interfaz web de VMware vSphere Client para implementar el appliance virtual AWS Storage Gateway.
Conéctese a su vCenter, vaya a Hosts y Clusters y seleccione el host ESXi necesario que tenga suficientes recursos libres.
Requisitos: El File Gateway requiere 16 GB de RAM, 4 procesadores virtuales (vCPU), un disco virtual de 80 GB y un disco virtual adicional de 150 GB para la caché de almacenamiento.
En nuestro ejemplo, seleccionamos el host con dirección IP 10.10.10.90. Después de seleccionar el host ESXi en VSphere Client, haga clic en Actions > Deploy OVF Template.
Se abre el asistente de instalación de plantillas OVF.
1. Seleccione una plantilla OVF. Seleccione Archivo local y haga clic en Examinar para seleccionar el archivo ova descargado. En este caso seleccionamos aws-storage-gateway-latest.ova en D:\virtual. Pulse Siguiente en cada paso del asistente para continuar.
2. Seleccione un nombre y una carpeta. Introduzca un nombre de máquina virtual, por ejemplo, aws-storage-gateway y seleccione una ubicación para la VM en vCenter.
3. Seleccione un recurso informático. Seleccione un host ESXi en el que se ejecutará la máquina virtual de Storage Gateway. En este ejemplo seleccionamos 10.10.10.90.
4. Revise los detalles. Verifique y revise los detalles de la plantilla del appliance virtual de AWS Storage Gateway que está a punto de implementar.
5. Seleccione el almacenamiento. Seleccione el almacén de datos con suficiente espacio libre para almacenar los archivos del disco virtual y otros archivos de la máquina virtual. Seleccione el formato del disco virtual. Se recomienda seleccionar Thick Provisioned como formato de disco virtual porque todo el espacio de almacenamiento necesario para que un disco virtual funcione se asigna inmediatamente. Más información sobre el aprovisionamiento grueso y fino en esta entrada del blog.
6. Seleccionar redes. Seleccione un vSwitch que está conectado a un router y proporciona una conexión a Internet. Un adaptador de red virtual de la máquina virtual se conectará a este vSwitch y a la red apropiada después de la instalación.
7. Listo para completar. Revise la configuración de la máquina virtual que se desplegará a partir de la plantilla y pulse Finalizar para iniciar la creación de la máquina virtual. Lea la entrada del blog sobre plantillas VM para obtener más información.
Espere hasta que la máquina virtual de Storage Gateway se despliegue desde la plantilla. Puede ver el estado del job en la barra de herramientas Tareas recientes de vSphere Client.
Una vez desplegada la VM, podrá ver el nombre de la VM que ha definido antes en la lista de VMs del host ESXi correspondiente(10.10.10.90 en nuestro caso).
Haga clic con el botón derecho en la VM(aws-storage-gateway es el nombre de la VM Storage Gateway desplegada desde la plantilla en este ejemplo) y en el menú contextual pulse Editar ajustes.
Ahora tienes que añadir un nuevo disco duro virtual para la caché. Este disco virtual se utiliza para almacenar archivos a los que se ha accedido recientemente y archivos a los que se accede con frecuencia para reducir la latencia al acceder a esos datos.
En la pestaña Hardware virtual de la ventana Editar ajustes, haga clic en Añadir nuevo dispositivo y seleccione Disco duro.
El tamaño mínimo recomendado para un disco duro virtual utilizado para almacenar caché por AWS Storage Gateway es de 150 GB. Debe crear un disco virtual Thick Provisioned para la caché. En la cadena Nuevo disco duro, escriba 150 GB. En la cadena Disk Provisioning, seleccione una de las opciones de Thick Provisioning. Pulsa OK para guardar los ajustes y crear un disco virtual.
Asegúrese de que la hora está correctamente configurada en la VM Storage Gateway, los hosts ESXi y los servidores vCenter. La hora de la máquina virtual debe estar sincronizada para evitar problemas y para que la activación de la pasarela se realice correctamente.
Seleccione su VM aws-storage-gateway en la lista de VMs, haga clic en Editar ajustes. En la pantalla Editar ajustes, seleccione la pestaña Opciones de VM, haga clic en Herramientas de VMware para expandir los ajustes y seleccione la casilla «Sincronizar la hora del invitado con el host«. Pulsa OK para guardar los ajustes.
Probar la conectividad de la red
Se recomienda probar la conexión de red de Amazon Storage Gateway ejecutándose como una VM localmente con almacenamiento en la nube de AWS.
Encienda la máquina virtual Storage Gateway.
Inicie sesión en la máquina virtual de AWS Appliance con las credenciales predeterminadas.
Nombre de usuario: admin
Contraseña: password
Puede comprobar la dirección IP. Si hay un servidor DHCP en su red, la configuración IP se obtiene automáticamente. Se recomienda configurar la dirección IP estática para un uso a largo plazo de Amazon Storage Gateway.
Si desea configurar la dirección IP estática, pulse 2:
2: Configuración de red
A continuación, introduzca 3:
3: Configurar IP estática
Siga las recomendaciones para configurar la dirección IP estática.
En nuestro ejemplo, la dirección IP del appliance virtual Storage Gateway es 192.168.17.122 y la máscara de red es 255.255.255.0.
Después de configurar la red IP, debe probar la conectividad de la red.
En el menú principal seleccione 3:
3: Probar conectividad de red
A continuación, seleccione 1:
1: Público
Introduzca la región:
eu-west-1
Seleccione el tipo de endpoint:
1: Estándar
La prueba se ha superado en nuestro caso y puede verse en la captura de pantalla siguiente.
Crear un cubo
Antes de continuar, asegúrese de que se ha creado un bucket en Amazon S3 para su cuenta. Puede utilizar este enlace para crear un cubo. El nombre del bucket utilizado en este tutorial es blog-bucket01. Debe tener suficientes permisos para su cuenta de AWS. Las claves de acceso de AWS deben generarse si va a utilizar otras aplicaciones para acceder al bucket. Puede obtener el ID de la clave de acceso de AWS y una clave de acceso secreta para su cuenta en esta página de AWS.
Activación de la pasarela de archivos
Ahora tienes que definir la dirección IP de Amazon Storage Gateway y activar el File Gateway.
Vuelva a la interfaz web de la consola de AWS. Como recordarás, nos detuvimos en el segundo paso del asistente de creación de pasarelas. Si has cerrado esa página, abre la consola de AWS, ve a Servicios > Storage Gateway, haz clic en Crear Gateway. En el primer paso del asistente(Seleccionar tipo de pasarela) seleccione Pasarela de archivos. Estos pasos se explican al principio del tutorial y se complementan con capturas de pantalla.
Seleccione la plataforma host. Seleccione VMware ESXi y haga clic en Siguiente.
Seleccione el punto final del servicio. Seleccione Público como tipo de endpoint y pulse Siguiente. El acceso de red para su navegador web a la Storage Gateway VM al puerto TCP 80 debe estar permitido.
Compruebe la dirección IP de la máquina virtual de puerta de enlace (VA). Puede encontrar la dirección IP de la máquina virtual en la interfaz de VMware vSphere Client seleccionando la máquina virtual necesaria. En este ejemplo, la dirección IP interna de la máquina virtual de AWS Storage Gateway es 192.168.17.122.
Introduzca la dirección IP de la máquina virtual (el appliance virtual Storage Gateway), no la IP externa (WAN) de su router.
Haga clic en Conectar con la pasarela.
Activar gateway. La activación de la puerta de enlace asocia de forma segura su puerta de enlace con su cuenta de AWS.
Seleccione la zona horaria de la puerta de enlace.
Introduzca el nombre del gateway, por ejemplo Storage Gateway AWS. El nombre puede ser diferente del nombre de la VM y del nombre DNS de la VM (appliance). Recuerde que el puerto TCP 80 debe estar abierto en la VM pasarela.
Haga clic en Activar pasarela y espere a que se identifiquen los discos caché.
Configure los discos locales. Asegúrese de que su disco virtual de 150 GB está asignado a la caché. A continuación, pulse Configurar registro.
Configurar el registro. El registro le proporciona capacidades adicionales para la solución de problemas y la auditoría. Seleccione Crear un nuevo grupo de registro. Haga clic en Verificar VMware HA.
Haga clic en Verificar VMware HA si su VM de Storage Gateway se está ejecutando en el clúster de alta disponibilidad de VMware. Pulsamos Exit ya que el appliance virtual de Amazon Storage Gateway no está desplegado en el cluster HA de VMware en nuestro ejemplo.
Ahora la puerta de enlace de archivos se ha creado correctamente y se está ejecutando.
Crear un recurso compartido de archivos
Es hora de crear un recurso compartido de archivos para conectarse a un bucket mediante los protocolos estándar NFS o SMB (CIFS). Vamos a configurar la conexión a un bucket de Amazon S3 a través de NFS.
Seleccione su puerta de enlace de archivos y haga clic en Crear recurso compartido de archivos (véase la captura de pantalla anterior).
Introduzca el nombre del bucket S3. El nombre del bucket utilizado en este ejemplo es blog-bucket01.
Accede a los objetos utilizando: Sistema de archivos de red (NFS).
Puerta de enlace: Seleccione la puerta de enlace de almacenamiento S3 desplegada en la lista desplegable.
Añadir etiquetas es opcional y puede omitirse. Pulsa Siguiente para continuar.
Almacenamiento. Configure cómo se almacenarán los archivos en Amazon S3.
Nombre del bucket de Amazon S3: blog-bucket01
Clase de almacenamiento para nuevos objetos: S3 Estándar
Metadatos del objeto: Las casillas Guess MIME type y Give bucket owner full control deben estar seleccionadas.
Acceso a su cubo S3. Crear un nuevo rol IAM.
Cifrado: Claves gestionadas S3 (SSE-S3).
Revisar. Puede dejar los valores por defecto para el rol IAM y otros valores excepto los siguientes valores.
Clientes permitidos: 0.0.0.0/0 – por defecto se permite el acceso desde cualquier dirección IP. Se recomienda definir direcciones IP permitidas personalizadas por razones de seguridad.
Nivel de squash. Haz clic en Editar en las opciones de montaje y selecciona Todas las calabazas para asegurarte de que todo funcionará correctamente.
Haga clic en Crear recurso compartido.
Si el botón Crear recurso compartido no está activo, haga clic en Anterior y, a continuación, de nuevo en Siguiente.
El recurso compartido NFS se crea en su pasarela de archivos. En la parte inferior de la página Recursos compartidos puede ver ejemplos de comandos que se pueden utilizar para montar su recurso compartido de archivos en Linux, Windows y macOS.
Conexión al recurso compartido de archivos
Vamos a crear un directorio que se utilizará como punto de montaje en una máquina Linux (Ubuntu 18.04) y establecer los permisos necesarios. En este ejemplo, el nombre de nuestra cuenta de usuario Linux es user1.
mkdir /mnt/s3-gateway/
Establezca el propietario y los permisos del directorio creado:
chown user1:user1 /mnt/s3-gateway
chmod 0775 /mnt/s3-gateway
Monte el recurso compartido NFS proporcionado por AWS Storage Gateway:
sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
Puede producirse un error:
mount: /mnt/s3-gateway: bad option; for several filesystems (e.g. nfs, cifs) you might need a /sbin/mount.<type> helper program
En este caso intenta instalar el paquete nfs-common:
sudo apt install nfs-common
Luego ejecuta el comando
sudo mount -t nfs -o nolock,hard 192.168.17.122:/blog-bucket01 /mnt/s3-gateway
Puedes comprobar si el bucket S3(blog-bucket01) está montado como el recurso compartido NFS proporcionado por AWS Storage Gateway en /mnt/s3/gateway/ con los comandos:
df -h
mount | grep gateway
ls -al /mnt/s3-gateway/
Como puede ver en la siguiente captura de pantalla, el cubo se ha montado correctamente.
El mismo contenido del bucket se muestra en la interfaz web de AWS. Puedes asegurarte de que todo funciona correctamente y copiar un archivo en la consola de Linux al bucket y luego comprobar el contenido del bucket en la interfaz web de AWS.
Puede configurar el montaje automático en el arranque de Linux editando /etc/fstab.
Del mismo modo, puede configurar un recurso compartido SMB (CIFS) en su AWS Storage Gateway y montar ese recurso compartido en diferentes sistemas operativos. Si selecciona la opción SMB para una puerta de enlace de archivos, es posible añadir su puerta de enlace de almacenamiento de AWS a un dominio de Active Directory.
Conclusión
Amazon Storage Gateway es una solución de nube híbrida que le permite utilizar su infraestructura física y virtual actual con el almacenamiento en la nube de Amazon sin cambios significativos en su configuración actual de hardware y software. Se utilizan protocolos de almacenamiento estándar: SMB y NFS se utilizan para proporcionar acceso a archivos almacenados como objetos en Amazon S3 a nivel de archivo y el acceso al almacenamiento en bloque (volúmenes de Amazon EBS) se proporciona mediante iSCSI. Puede conectarse a bibliotecas de cintas virtuales en Amazon S3 a través de iSCSI en lugar de utilizar bibliotecas de cintas físicas. Esta entrada de blog ha cubierto el principio de funcionamiento de Amazon Storage Gateway y ha explicado cómo puede implementar File Gateway en VMware ESXi y conectarse a un bucket de Amazon S3 a través de File Gateway mediante NFS desde Ubuntu Linux.
Amazon Storage Gateway se puede utilizar para hacer backups de sus datos en AWS de forma manual o con soluciones de backup especiales que pueden funcionar con protocolos NFS, SMB o iSCSI. NAKIVO Backup & Replication es una solución universal de protección de datos que permite hacer backups de los datos en Amazon S3 y Amazon EBS. NAKIVO Backup & Replication puede hacer backup de los datos en Amazon S3 directamente sin utilizar AWS Storage Gateway.
