Mercado Libre escala su negocio y mejora su fiabilidad al migrar 5000 bases de datos a Amazon DynamoDB

Fundada en Argentina en 1999, Mercado Libre cuenta con dos negocios principales: el comercio electrónico y la tecnología financiera. Dentro de esos ámbitos, la empresa ofrece numerosos servicios, como un marketplace en línea, un sistema de pago digital, publicidad, logística y ofertas de crédito. Su misión subyacente es democratizar el comercio, los pagos y el dinero para marcar la diferencia en la vida de millones de personas en América Latina.

Mercado Libre originalmente había creado sus soluciones en una nube privada virtual, y cada equipo interno estaba encargado de gestionar su propia infraestructura, aplicaciones y mantenimiento. Cada equipo individual decidía, por ejemplo, qué tipo de base de datos utilizar. Aunque esto fue clave para lograr un rápido crecimiento al principio, a medida que el número de equipos crecía y el tráfico aumentaba, la variedad de pilas tecnológicas dificultaba el crecimiento sostenido. La empresa desarrolló una nueva solución para sus equipos que incluía un kit de desarrollo de software propio y API personalizadas. Respecto a las bases de datos NoSQL, en lugar de proporcionar acceso directo a cualquier solución, la empresa creó una capa de abstracción de modo que todos los equipos hablaran el mismo idioma. Inicialmente, Mercado Libre creó su abstracción de base de datos principal de clave-valor sobre un motor de base de datos autoadministrado y de código abierto, una solución que llegó a tener 5000 bases de datos.

Sin embargo, con el tiempo, la empresa se dio cuenta de que no obtenía todas las características que necesitaba a partir del motor seleccionado. Además, administrar más de 30 clústeres requería un mantenimiento frecuente, lo que provocaba tiempos de espera, errores e incidentes de inactividad. A principios de 2019, Mercado Libre empezó a migrar a Amazon DynamoDB. “Gracias a la fiabilidad de Amazon DynamoDB, nos evitamos el costo que supone el tiempo de inactividad”, afirma Oscar Mullin, director de TI y jefe de servicios críticos, ingeniería de fiabilidad de sitios (SRE) y administración de bases de datos (DBA) de Mercado Libre. Al aprovechar la abstracción común, la empresa migró 5000 bases de datos sin que nadie en la organización tuviera que modificar una sola línea de código ni alterar el plan de desarrollo del negocio.

Mercado Libre utilizó Amazon DynamoDB junto con otros servicios de AWS que la empresa utilizaba para ejecutar aplicaciones críticas para la misión y el negocio, como Amazon Elastic Compute Cloud (Amazon EC2), un servicio web que proporciona capacidad de computación segura y de tamaño modificable en la nube, así como Amazon Simple Storage Service (Amazon S3), un servicio de almacenamiento de objetos que ofrece escalabilidad, disponibilidad de datos, seguridad y rendimiento líderes en el sector.

Al utilizar la potencia combinada que ofrecen las soluciones de AWS, Mercado Libre pudo gestionar todas sus necesidades en materia de escalado sin que el rendimiento se viera afectado. Anteriormente, la empresa dedicaba mucho tiempo a prepararse ante eventos que implicaban escalar, como las vacaciones, lo cual además era una tarea compleja. Y como resultado de acontecimientos inesperados como la pandemia de la COVID-19, un mayor número de personas ha recurrido al comercio electrónico y a los pagos digitales, lo que ha aumentado significativamente el tráfico de Mercado Libre. En el marco de su misión de inclusión, Mercado Libre se propuso utilizar AWS para ampliar su oferta y llegar a un mayor número de empresas pequeñas. “El hecho de que nuestras aplicaciones principales utilizaran nuestra abstracción con base en Amazon DynamoDB resultó fundamental”, afirma Mullin. “Hacer frente a ese aumento de tráfico y a la vez mantener el nivel de disponibilidad habría sido extremadamente complejo de otro modo”. Las capacidades de escalado automático de Amazon DynamoDB también demostraron ser imprescindibles cuando la empresa necesitó reducir la escala, con lo que se evitó tener capacidad no utilizada, se redujeron los desperdicios y se recortaron los costos. “A diferencia de nuestras soluciones anteriores, reducir la escala en Amazon DynamoDB es extremadamente sencillo”, afirma Mullin.

La arquitectura en múltiples regiones de AWS compatible con Amazon DynamoDB también resuelve los problemas de disponibilidad de Mercado Libre. En lugar de tener que transferir los datos que se encuentran en tablas separadas, la empresa utiliza las tablas globales de Amazon DynamoDB, que replican las tablas automáticamente en las regiones que la empresa elija para obtener una tolerancia a errores en varias regiones. Esta base de datos completamente administrada, de varias regiones y multiactiva, ayuda a ofrecer un rendimiento de lectura/escritura rápido y local a millones de clientes dispersos por todo el mundo. “Tenemos la posibilidad de ser multirregionales con un solo clic”, dice Mullin. “Y todos nuestros datos históricos se trasladan a otras Regiones automáticamente”. Los cambios en una tabla se propagan sin problemas a las demás Regiones, con lo que la empresa ahorra tiempo. Independientemente de dónde se encuentren los usuarios, pueden acceder a los datos con una baja latencia. De hecho, el 99 % de la latencia combinada de las lecturas de la API y de Amazon DynamoDB es de solo 6 ms para las solicitudes de lectura. E incluso cuando las solicitudes alcanzan un ritmo de 300 millones por minuto, la latencia no se ve afectada. Además, Mercado Libre ya no tiene que afrontar complejos procesos para lograr hacer una copia de seguridad diaria porque Amazon DynamoDB ofrece la recuperación a un momento dado para copias de seguridad continuas y automáticas.

El enfoque de Mercado Libre respecto a los servicios incluye la creación de servicios interrelacionados que proporcionan a los desarrolladores integraciones transparentes y lo más sencillas posibles. Para lograr esta integración con el almacén de clave-valor, Mercado Libre recurrió a Amazon DynamoDB Streams, que captura una secuencia ordenada en el tiempo de las modificaciones a nivel de elemento en cualquier tabla de Amazon DynamoDB y almacena la información en un registro durante 24 horas. Además, DynamoDB Streams trabaja con Amazon DynamoDB para eliminar automáticamente la información irrelevante de las tablas, todo ello sin costo adicional. Mercado Libre puede utilizar Amazon DynamoDB para eliminar estos elementos caducados mediante la caducidad basada en el tiempo de vida, que elimina los elementos no deseados o irrelevantes en segundo plano sin consumir ningún rendimiento de escritura. Además, al utilizar DynamoDB Streams, la empresa puede capturar estas eliminaciones y realizar copias de seguridad o bien procesar los datos a medida que caducan. “DynamoDB Streams es una característica poderosa”, afirma Mullin. “Al utilizar estas funciones automatizadas, no tenemos que realizar nosotros mismos muchas tareas, lo cual era un proceso complejo y propenso a errores”.

Aunque Mercado Libre originalmente optó por Amazon DynamoDB como una forma de deshacerse de la sobrecarga operativa y admitir una escala masiva, los desarrolladores no dejan de descubrir nuevas capacidades, lo que fomenta la habilidad de la empresa para innovar y mantener su crecimiento en América Latina. “Cuando analizamos las alternativas a nuestra configuración anterior, Amazon DynamoDB resultó ser, por lejos, la mejor opción para lo que necesitábamos”, asegura Mullin “Y continuamos sacándole provecho al crear nuevas abstracciones como índices secundarios o funciones de seguridad”.