Las integraciones son una forma clave de reducir los costos operativos, especialmente cuando están integradas en los sistemas de datos. Gracias a las integraciones de datos clave entre Amazon OpenSearch Service y otros servicios de AWS, puede aprovechar los beneficios clave de OpenSearch Service en sus datos, independientemente de dónde estén almacenados, lo que a menudo reduce los costos operativos y la complejidad de la administración de datos. Además, la ingesta de datos permite convertir, limpiar, mapear y cargar datos de manera eficiente, de modo que los datos estén disponibles inmediatamente después de la consulta sin sobrecargar los sistemas informáticos y de red del clúster.
Con Amazon OpenSearch Service, puede lograr todo esto fácilmente, aprovechando la ingesta de Amazon OpenSearch y las integraciones con varios servicios de AWS, incluidos Amazon Kinesis Data Firehose, Logstash, Amazon CloudWatch o AWS IoT. Además, con las integraciones sin ETL, incluidos Amazon S3 y DynamoDB, puede lograr aún más. Estas integraciones y conexiones le brindan la flexibilidad de seleccionar la herramienta de integración e ingesta que cumpla con los requisitos de su caso de uso.
Ingesta de datos mediante la ingesta de Amazon OpenSearch
Ingesta de Amazon OpenSearch es una capacidad de Amazon OpenSearch Service para recopilar, transformar y dirigir datos a los dominios de Amazon OpenSearch Service. Ingesta de OpenSearch impulsa la rentabilidad y ayuda a garantizar la calidad de los datos. El servicio de ingesta de OpenSearch ejecuta las canalizaciones de OpenSearch Data Prepper como un proceso sin servidor que se escala automáticamente en función de las necesidades de procesamiento de las cargas de trabajo de ingesta. Más información »
Integración sin ETL de Amazon OpenSearch Service con Amazon S3
La integración sin ETL de Amazon OpenSearch Service con Amazon S3 es una nueva forma de conectarse a los datos propios, que permite a los clientes utilizar las amplias capacidades interactivas de OpenSearch Service directamente en los datos consultados con poca frecuencia almacenados en su lago de datos de Amazon S3 sin ETL. La conexión sin ETL con S3 elimina la necesidad de que los clientes creen o administren canalizaciones de ETL complejas, lo que les permite realizar consultas críticas para obtener información y visualizar los datos de seguridad y observabilidad, al tiempo que reducen los costos y la complejidad operativa de duplicar datos o administrar múltiples herramientas de análisis. Más información >>
Integración sin ETL con DynamoDB
La integración sin ETL de Amazon OpenSearch Service con Amazon DynamoDB le permite utilizar capacidades de búsqueda avanzada, como la búsqueda vectorial y de texto completo, en sus datos operativos en Amazon DynamoDB. Esta integración sin ETL utiliza la ingesta de Amazon OpenSearch para sincronizar sin problemas los datos de Amazon DynamoDB con Amazon OpenSearch Service sin tener que escribir ningún código personalizado. Esta integración sin ETL reduce la carga operativa y el costo que implica mantener los datos sincronizados entre estos dos almacenes, lo que le permite concentrarse en sus aplicaciones. Más información >>
Ingesta de datos con Amazon Kinesis Data Firehose
Con Amazon Kinesis Firehose, puede convertir fácilmente datos de streaming sin procesar desde los orígenes de datos a los formatos requeridos por su índice de Elasticsearch u OpenSearch y cargarlos en Amazon OpenSearch Service, sin necesidad de crear sus propias canalizaciones de procesamiento de datos.
Para poder usar esta característica, tan solo debe seleccionar una función de AWS Lambda en la pestaña de configuración de flujo de entrega de Amazon Kinesis Firehose en la consola de administración de AWS. Amazon Kinesis Firehose aplicará automáticamente la función de AWS Lambda a cada registro de datos de entrada y cargará los datos transformados a su índice de Amazon OpenSearch.
Amazon Kinesis Firehose proporciona planos de Lambda pregenerados que se pueden usar sin modificaciones o personalizados para convertir orígenes de datos comunes, como los registros de Apache y de sistema, a formatos JSON y CSV. También puede configurar Amazon Kinesis Firehose para que reintente de forma automática los trabajos con errores y para que cree copias de seguridad de los datos de streaming sin procesar. Más información »
Ingesta de datos con Logstash
Amazon OpenSearch Service admite la integración con Logstash, una herramienta de procesamiento de datos de código abierto que recopila datos de orígenes, los transforma y luego los carga a Elasticsearch u OpenSearch. Puede implementar Logstash en Amazon EC2 fácilmente y configurar su dominio de Amazon OpenSearch Service como el almacenamiento backend para todos los registros que pasen por su implementación de Logstash. Logstash incluye una biblioteca de filtros pregenerados para realizar fácilmente transformaciones comunes, como diseccionar datos de registros no estructurados en datos estructurados mediante la correspondencia de patrones; renombrar, eliminar, reemplazar y modificar campos en sus registros de datos; y agregar métricas. Más información »
Incorporación de datos con Amazon CloudWatch Logs
Amazon CloudWatch Logs le permite utilizar los archivos de registros personalizados, del sistema y de las aplicaciones de los que ya dispone para monitorear los sistemas e identificar los problemas que surjan en sistemas y aplicaciones. Puede configurar un grupo de registros de CloudWatch Logs para transmitir datos a su dominio de Amazon OpenSearch Service casi en tiempo real mediante una suscripción a CloudWatch Logs. Esta integración resulta útil si ya utiliza CloudWatch Logs para recopilar datos de registros y le gustaría compartirlos con sus usuarios de Amazon OpenSearch Service. Más información »
Incorporación de datos con AWS IoT
AWS IoT es una plataforma de nube administrada que permite a los dispositivos conectados interactuar con facilidad y seguridad con las aplicaciones en la nube y otros dispositivos. Con AWS IoT, puede registrar datos de dispositivos conectados, como aplicaciones de consumidor, sensores integrados y decodificadores de televisión. Mediante el uso de la consola de administración de AWS puede configurar AWS IoT para que cargue los datos directamente a Amazon OpenSearch Service, lo que le permite conceder a sus clientes acceso casi en tiempo real a las métricas y los datos de IoT. Más información »
Cómo elegir el mecanismo de incorporación correcto
Elegir el mecanismo de ingesta correcto depende de los requisitos de su caso de uso, como la latencia y el tipo de datos. Para grandes volúmenes de datos recomendamos usar Amazon Kinesis Data Firehose, un servicio completamente administrado que se escala automáticamente para adaptarse al rendimiento de los datos y no precisa administración permanente. También puede transformar los datos, comprimirlos e incluirlos en lotes antes de cargarlos en el dominio de Amazon OpenSearch Service. A menudo, la elección depende de los servicios que ya usa. Por ejemplo, si ya recopila registros de aplicaciones con Amazon CloudWatch Logs, simplemente puede cargar los datos en su dominio de Amazon OpenSearch Service sin demasiado esfuerzo adicional.
Pasos siguientes
- Comience a usar Amazon OpenSearch Service con el nivel gratuito de AWS »
- Lea la guía de introducción de Amazon OpenSearch Service »
OpenSearch incluye cierto código de Elasticsearch con licencia de Apache de Elasticsearch B.V. y otro código fuente. Elasticsearch B.V. no es el origen de ese otro código fuente. ELASTICSEARCH es una marca registrada de Elasticsearch B.V.
Más información sobre los precios de Amazon OpenSearch Service