Instancias EC2 con volumen EBS de +8GB

Con cada instancia EBS, Amazon pone a nuestra disposición  2 tipos de almacenamiento para nuestras máquinas: Un volumen EBS (contiene el OS de nuestra máquina) y un volumen efímero (que desaparecerá una vez hayamos reiniciado y/o apagado nuestra máquina, perdiendo así la información que hayamos guardado).

Los volúmenes efímeros varían de acuerdo al tipo de instancia contratada (Small, Medium. Large, etc) que van desde 160GB, 410GB, 850GB respectivamente. Pero algo que no cambiará será el volumen principal que es de 10Gb por defecto.

NOTA: Los siguientes pasos podrían resultar especialmente útiles en el caso de querer auto escalar nuestras instancia, donde nuestro código sea excesivamente grande y queramos evitar el uso de sistemas como NFS ó utilizar S3 como volumen compartido.

Los pasos necesarios para incrementar el tamaño de tu EBS son:

  1. Lanzar una instancia con tu sistema operativo linux de preferencia (ubuntu, redhat, centos, etc)

 

  1. Incrementar el tamaño de nuestro volumen de 10 a 12GB.

NOTA: El incremento del tamaño de nuestro volumen puede hacerse cuando creemos una nueva instancia o también con una ya creada

 

  1. Nos conectamos a nuestra instancia, una vez finalizado el proceso de creación.
# ssh -i certificado.pem ubuntu@IP
  1. Una vez logeados, ejecutamos el siguiente comando.
# df -h

Resultado:

Filesystem            Size  Used Avail Use% Mounted on
/dev/sda1             7.9G  628M  6.9G   9% /
none                  828M  116K  828M   1% /dev
none                  833M     0  833M   0% /dev/shm
none                  833M   52K  833M   1% /var/run
none                  833M     0  833M   0% /var/lock
/dev/sda2             147G  188M  140G   1% /mnt
 

NOTA: Como podremos observar el tamaño de nuestro disco sigue siendo 8GB a pesar de haberlo incrementado a 12GB

  1. Ejecutamos el siguiente comando
# fdisk -l
 
Resultado:

Disk /dev/sda1: 12.9 GB, 12884901888 bytes
255 heads, 63 sectors/track, 1566 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000
 

NOTA. Observamos que efectivamente contamos con los 12GB asignados, siendo el problema que el espacio no esta asignado. 

  1. Para redimensionarlo ejecutamos lo siguiente:
# resize2fs /dev/sda1

Resultado:

resize2fs 1.41.12 (17-May-2010)
Filesystem at /dev/sda1 is mounted on /; on-line resizing required
old desc_blocks = 1, new_desc_blocks = 1
Performing an on-line resize of /dev/sda1 to 3145728 (4k) blocks.
The filesystem on /dev/sda1 is now 3145728 blocks long.
 
  1. Verificar nuevamente que efectivamente contamos con los 12GB en nuestro volumen, ejecutando:
#df -h

Resultado:

Filesystem            Size  Used Avail Use% Mounted on
/dev/sda1              12G  630M   11G   6% /
none                  828M  116K  828M   1% /dev
none                  833M     0  833M   0% /dev/shm
none                  833M   52K  833M   1% /var/run
none                  833M     0  833M   0% /var/lock
/dev/sda2             147G  188M  140G   1% /mnt
WordPressTwitterBlogger PostShare

Nuestros posts favoritos de la última semana

 Cada semana publicamos un pequeño recopilatorio con los posts más destacados sobre innovación y que más nos llaman la atención en BBVA GlobalNet.

Es sólo una pequeña selección sobre la amplia cantidad de información que se genera en una semana. Pero si quieres saber más sobre tecnología e innovación no dudes en seguirnos en twitter @bbvaglobalnet

Todos llevamos un intraemprendedor dentro

Hemos vuelto de vacaciones con energía renovada y ganas de cambios. Unos, los más valientes los intraemprendedores, llevarán a cabo, dentro de sus empresas, los cambios que se han propuesto.

Kurzwei: Brains Will Extend To The Cloud

Tenemos una capacidad limitada de almacenamiento de datos en nuestro cerebro, sin embargo el futurista Ray Kurweil afirma que seremos capaces de aumentar esa capacidad y formatear nuestro cerebro trasladando la información obsoleta a la famosa nube. 

¿Se puede innovar en la televisión?

 

En Internet, prima la decisión personal en cuanto a qué y cuándo disfrutar de los contenidos. Cuando dos mundos contrapuestos como internet y la televisión colisionan en el ámbito audiovisual empiezan a saltar chispas. 

El legado innovador de Steve Jobs

 Mohnabir Sawnhey, profesor en Kellogg School of Management, nos da su particular visión sobre el inagotable legado de Steve Jobs en el aniversario de su fallecimiento. 

¿Quién teme a la videovigilancia?

La mayoría de las personas han pasado de criticar la videovigilancia a aceptarla, ¿cómo y porqué se ha dado este cambio?

 

 

WordPressTwitterBlogger PostShare

Nuestros post favoritos de la última semana

Cada semana publicamos un pequeño recopilatorio con los posts más destacados sobre innovación y que más nos llaman la atención en BBVA GlobalNet.

Es sólo una pequeña selección sobre la amplia cantidad de información que se genera en una semana. Pero si quieres saber más sobre tecnología e innovación no dudes en seguirnos en twitter @bbvaglobalnet.

Año 2020: ¿mundo virtual o real?

¿Qué nos deparará la tecnología en el año 2020? Telefónica I+D pronostica cómo cambiará el modo que nos comunicamos y vivimos dentro de 8 años. No os perdáis el vídeo.

Vídeo: Smart Cloud Services

Un vídeo que sintetiza la visión de Panasonic sobre aplicaciones de la nube, NFC y Android en el hogar.

Big Data’s ‘Wild West’ Period Stars Hadoop 

Cómo una nueva generación de herramientas ayudarán a reducir la complejidad del análisis predictivo en Big Data.

 

Enrique Dans analiza la evolución de este termostato, gran ejemplo de innovación con ingredientes de Internet de las Cosas, Big Data, Gamification y Movilidad.

Why Lean Startups Turn Into Innovative Firms

Motivos por los que aplicar la metodología Lean Startup ayuda a las empresas a ser más innovadoras.

WordPressTwitterBlogger PostShare

Cloud Computing – Estadísticas Amazon cloudfront usando Awstats

Aprovechamos el Post de la entrega anterior en el que hablábamos sobre como instalar Awstats para generar informes de nuestras estadísticas. Extenderemos su funcionalidad, explicando cómo podemos utilizar esta herramienta para generar estadísticas, esta vez de nuestro Cloudfront en Amazon

  1. Instalar y configurar AWS stats
  1. Crear un bucket en S3
  1. Crear un Cloudfront, en el momento de creación del Cloudfront es necesario, rellenar la siguiente información:

        Logging: On
        Bucket for Logs: cloudy-stats.s3.amazonaws.com    —-> bucket S3
        Log Prefix: stats/   —-> Ubicación del folder dentro del bucket

  1. Una vez hemos terminado de crear y configurar Cloudfront y S3, tenemos que descargar los logs desde nuestra máquina. Para esta tarea podemos ayudarnos de diferentes scripts que puedes encontrar en la Red que simplifican esta tarea.
  2. Debemos realizar ciertos ajustes en nuestro fichero de configuración de awstats, así que tomando como base nuestro fichero de configuración original de Awtats, haremos una copia que servira para guardar las configuración para la generación de estadísticas de nuestro Cloudfront
cp /etc/awstats/awstats.conf awstats.cdn.bbvaglobalnet.com.conf

vi awstats.cdn.bbvaglobalnet.com.conf

Modificar:

LogFile="/var/tmp/cloudfront.log"                                                          ----------> Ruta donde estara nuestro log
LogFormat = "%time2 %cluster %bytesd %host %method %virtualname %url %code %referer %ua %query"                                                                                             ----------> Formato de log para cloudfront (Download)   
LogSeparator="\t"                                                                                ----------> Separador
SiteDomain="XXXXXp9ii2g1.cloudfront.net"                                         ----------> Dominio de nuestro cloudfront
HostAliases="XXXXXp9ii2g1.cloudfront.net www.d3e9z7yp9ii2g1.cloudfront.net 127.0.0.1 localhost"

 

NOTA: SiteDomain debe contener el mismo dominio que utiliza Cloudfront, ya que de lo contrario al procesar los logs estos resultaran como "Dropped records" o "Corrupted records" 
  1. Depsués podemos generar nuestras estadísticas con el siguiente comando:
perl /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=cdn.bbvaglobalnet.com -configdir="/etc/awstats"

  1. Para automatizar todo podemos utilizar Cron, para generar 

    nuestras estadísticas.

 

WordPressTwitterBlogger PostShare

Amazon ELB – Capturar la direccion IP de clientes

Si trabajas con Amazon ELB para balanceo de carga habrás notado en los logs que la dirección IP que se registra es la misma por cada petición que  llega al servidor web. Esta dirección IP que miras es la dirección del Balanceador.

Si en vez de la dirección IP del balanceador necesitas registrar la direccion IP del cliente (Remote host), ya sea por temas de estadísticas u otra razón,  podemos utilizar “X-Forwarded-For “, una cabecera que nos permite conocer la dirección IP y que podemos activar en nuestra configuración de apache de la siguiente manera:

  1. En nuestro fichero de configuración de apache (apache.conf ó http.conf), modificaremos el valor de LogFormat

Antes:

LogFormat "%h %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" combined

Formato de Logs:

10.224.29.25 - - [20/May/2012:12:31:23 +0200] "GET /afqera/dferdasd/999/162/162-1.jpg HTTP/1.1" 200 2512 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.46 Safari/536.5"
10.224.29.25 - - [20/May/2012:12:49:01 +0200] "GET /afqera/dferdasd/999/027/27-1.jpg HTTP/1.1" 200 3905 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.

 

Modificado:

LogFormat "\"%{X-Forwarded-For}i\" %h %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" combined

Formato de Logs:

"62.43.198.254" 10.228.235.230 - - [02/Jul/2012:10:50:34 +0200] "GET /afqera/dferdasd/999/071/71-1.jpg HTTP/1.1" 200 2163 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0)"
"62.43.198.254" 10.228.235.230 - - [02/Jul/2012:10:50:34 +0200] "GET /afqera/dferdasd/999/162/162-1.jpg HTTP/1.1" 200 2512 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0)"

 

 

 

WordPressTwitterBlogger PostShare

No Sql en Amazon Web Services

¿Qué es No SQL?

A diferencia de lo que muchos puedan pensar NoSQL significa “no sólo SQL”, o lo que es lo mismo, nuevas formas de administración de la información. Esto supone romper con muchos de los conceptos que hemos aprendido del mundo relacional como las estructura de datos (tablas), operaciones relacionales como JOINs y propiedades fundamentales de las transacciones como ACID (atomicidad, coherencia,aislamiento y durabilidad), todo ello en favor del rendimiento y de la escalabilidad.

Continue reading

WordPressTwitterBlogger PostShare

Formación: Web2py, Mercurial y GAE

Compartir y extender el conocimiento debe ser una de las actividades más importantes de cualquier empresa. De esta forma no sólo se mejora la comunicación interna sino que nos ayuda a tener en cuenta soluciones que se han llevado a cabo en proyectos de éxito en los que no hemos estado involucrados, con el único fin de tener mas capacidad de desarrollo y una visión más amplia para afrontar nuevos retos.

Es por este motivo, que en BBVA GlobalNet, hemos iniciado unas jornadas de formación interna en la que distintos departamentos dan formación al resto sobre temas que para unos es “el pan de cada día” y para el resto un mundo sin explorar. El pasado 20 de enero comenzó el departamento financiero con un curso sobre “Indicadores de gestión”. El próximo curso, correrá a cargo del departamento de sistemas, que nos hablará sobre el desarrollo y el diseño de arquitecturas con:

1- Web2py
2- Mercurial
3- GAE

Y que han sido aplicadas en proyectos tan importantes como el Ministerio de Cultura (Museo del Prado), Ministerio de Industria (Red.es).

Ya os contaremos más… de momento podéis ver un pequeño tráiler… VER VÍDEO

Música del trailer: The Place That Won’t Take Me Back by I Am Not Lefthanded
Licencia: http://creativecommons.org/licenses/by-sa/3.0/

WordPressTwitterBlogger PostShare

Como crear AMIs propias en Amazon

Una de las primeras cuestiones que se nos plantearon al usar  Amazon EC2  fue si existía la posibilidad de disminuir  el tiempo de configuración de las aplicaciones, en  instancias nuevas. La solución fue sencilla y rápida. Solo necesitábamos crear  nuestra propia AMI, basándonos en alguna de las que proporciona Amazon.

Utilizar nuestra propia AMI  nos fue de gran utilidad, sobre todo a la hora de auto-escalar instancias, ya que cuando se generaba una nueva instancia, ésta estaba configurada y lista para recibir las peticiones web.

Continue reading

WordPressTwitterBlogger PostShare