10 meilleurs outils de mise en cache open source pour Linux en 2023

Les systèmes et applications informatiques distribués fiables sont devenus la pierre angulaire des entreprises éminentes, en particulier dans l'automatisation et la gestion des processus commerciaux critiques et la prestation de services aux clients.

En tant que développeurs et administrateurs système de ces systèmes et applications, vous devez fournir toutes sortes de solutions de technologie de l'information (TI) qui garantiront que vous disposez des systèmes les plus efficaces disponibles.

Cela comprend des tâches telles que la conception, les tests et la mise en œuvre de stratégies pour les performances du système / application, la fiabilité, la disponibilité et l'évolutivité, pour offrir aux utilisateurs finaux un niveau de service satisfaisant.

Mise en cache est l'une des nombreuses techniques de livraison d'applications très basiques mais efficaces sur lesquelles vous pouvez compter. Avant d'aller plus loin, regardons brièvement ce qu'est la mise en cache, où et / ou comment il peut être appliqué, et ses avantages.

Table des matières

• Qu'est-ce que la mise en cache ou la mise en cache de contenu?
• Pourquoi utiliser la mise en cache?
• 1. Redis
• 2. Memcache
• 3. Apache allume
• 4. Serveur Couchbase
• 5. IMDG Hazelcast
• 6. Mcrouter
• 7. Cache de vernis
• 8. Proxy de mise en cache de calmar
• 9. Nginx
• dix. Serveur de trafic Apache
  • • Remarques finales

Qu'est-ce que la mise en cache ou la mise en cache de contenu?

Mise en cache (ou Cache de contenu) est une technique largement utilisée de stockage de copies des données dans un emplacement de stockage temporaire (également appelé cache) de sorte que les données peuvent être facilement et rapidement accessibles lorsqu'elles sont récupérées à partir du stockage d'origine.

Les données stockées dans un cache peuvent inclure des fichiers ou des fragments de fichiers (tels que des fichiers HTML, des scripts, des images, des documents, etc.), opérations de base de données ou enregistrements, appels API, enregistrements DNS, etc. en fonction du type et du but de la mise en cache.

Un cache peut prendre la forme de matériel ou de logiciel. Le cache logiciel (qui est au centre de cet article) peut être implémenté à différentes couches d'une pile d'applications.

Mise en cache Peut être appliqué du côté client (ou sur la couche de présentation de l'application), par exemple, la mise en cache du navigateur ou la mise en cache d'application (ou le mode hors ligne). La plupart sinon tous les navigateurs modernes sont livrés avec une implémentation d'un cache HTTP.

Vous avez peut-être entendu parler de la phrase populaire «Effacer votre cache"Lorsque vous accédez à une application Web pour vous permettre de voir les dernières données ou contenu sur un site Web ou une application, au lieu du navigateur à l'aide d'une ancienne copie du contenu stocké localement.

Un autre exemple de mise en cache côté client est Cache DNS qui se produit au niveau du système d'exploitation (OS). Il s'agit d'un stockage temporaire d'informations sur les recherches DNS précédentes par le système d'exploitation OU ou Web.

La mise en cache peut également être mise en œuvre au niveau du réseau, soit dans un Lan ou BLÊME via proxys. Un exemple courant de ce type de mise en cache est en Pli (Réseaux de livraison de contenu), qui sont des réseaux distribués à l'échelle mondiale de serveurs de proxy Web.

Troisièmement, vous pouvez également implémenter la mise en cache au (s) serveur (s) d'origine ou de backend. Il existe différentes formes de mise en cache au niveau du serveur, elles incluent:

• Cache de serveur Web (Pour la mise en cache d'images, des documents, des scripts, etc.).
• mise en cache d'application ou mémorisation (Utilisé dans la lecture des fichiers du disque, les données d'autres services ou processus, ou la demande de données à une API, etc.).
• Cache de base de données (Pour fournir un accès en mémoire à des données fréquemment utilisées telles que les lignes de base de données demandées, les résultats de la requête et d'autres opérations).

Notez que les données de cache peuvent être stockées dans n'importe quel système de stockage, y compris une base de données, un fichier, une mémoire système, etc., mais doit être un moyen plus rapide que la source principale. À cet égard, la mise en cache en mémoire est la forme de mise en cache la plus efficace et couramment utilisée.

Pourquoi utiliser la mise en cache?

La mise en cache offre de nombreux avantages, notamment les suivants:

• Au niveau de la base de données, il améliore les performances de lecture des microsecondes pour les données mises en cache. Vous pouvez également utiliser un cache d'écriture pour améliorer les performances de l'écriture, où les données sont écrites en mémoire et plus tard sur le disque écrit sur disque ou le stockage principal à intervalles spécifiés. Mais l'aspect d'intégrité des données peut avoir des implications potentiellement désastreuses. Par exemple, lorsque le système se bloque juste avant que les données ne soient engagées dans le stockage principal.
• Au niveau de l'application, un cache peut stocker fréquemment des données de lecture dans le processus d'application lui-même, réduisant ainsi les temps de recherche de données de quelques secondes aux microsecondes, en particulier sur le réseau.
• Compte tenu des performances globales de l'application et du serveur, la mise en cache aide à réduire la charge de votre serveur, la latence et la bande passante réseau car les données en cache sont servies aux clients, améliorant ainsi le temps de réponse et les vitesses de livraison aux clients.
• La mise en cache permet également la disponibilité du contenu, en particulier via les CDN, et de nombreux autres avantages.

Dans cet article, nous passerons en revue certaines des meilleures open-source (Application / Cache de base de données et serveurs proxy de mise en cache) outils pour implémenter la mise en cache côté serveur dans Linux.

1. Redis

Redis (Serveur de dictionnaire distant en entier) est un système informatique en mémoire distribué libre, rapide, rapide, haute performance et flexible qui peut être utilisé à partir de la plupart des langages de programmation, sinon tous,.

Il s'agit d'un magasin de structure de données en mémoire qui fonctionne comme un moteur de mise en cache, une base de données sur le disque persistante en mémoire et un courtier de messages. Bien qu'il soit développé et testé sur Linux (la plate-forme recommandée pour le déploiement) et OS X, Redis fonctionne également dans d'autres systèmes POSIX tels que * BSD, sans aucune dépendance externe.

Redis prend en charge de nombreuses structures de données telles que des chaînes, des hachages, des listes, des ensembles, des ensembles triés, des bitmaps, des flux et plus. Cela permet aux programmeurs d'utiliser une structure de données spécifique pour résoudre un problème spécifique. Il prend en charge les opérations automatiques sur sa structure de données telles que l'ajout d'une chaîne, poussant les éléments vers une liste, incrémentant la valeur d'un hachage, une intersection de l'ensemble informatique, et plus.

Ses principales fonctionnalités incluent la réplication de Redis Master-Slave (qui est asynchrone par défaut), la haute disponibilité et le basculement automatique offert à l'aide de Redis Sentinel, Redis Cluster (vous pouvez mettre à l'échelle horizontalement en ajoutant plus de nœuds de cluster) et le partitionnement des données (distribution de données entre plusieurs redis instances). Il présente également la prise en charge des transactions, les scripts LUA, une gamme d'options de persistance et le chiffrement de la communication client-serveur.

Étant une base de données sur disque en mémoire mais persistante, Redis offre les meilleures performances lorsqu'elle fonctionne mieux avec un ensemble de données en mémoire. Cependant, vous pouvez l'utiliser avec une base de données sur le disque telle que MySQL, PostgreSQL et bien d'autres. Par exemple, vous pouvez prendre de petites données très lourdes en écriture dans Redis et laisser d'autres morceaux des données dans une base de données sur le disque.

Redis prend en charge la sécurité de plusieurs façons: une en utilisant un «mode protégé«Fonctionnalité pour sécuriser les instances de redis en étant accessible à partir de réseaux externes. Il prend également en charge l'authentification client-serveur (lorsqu'un mot de passe est configuré dans le serveur et fourni dans le client) et TLS sur tous les canaux de communication tels que les connexions client, les liens de réplication, le protocole de bus Redis Cluster, et plus encore.

Redis dispose de très nombreux cas d'utilisation qui incluent la mise en cache de base de données, la mise en cache pleine page, la gestion des données de session utilisateur, le stockage des réponses API, le système de messagerie publié / souscrit, la file d'attente de messages, et plus encore. Ceux-ci peuvent être appliqués dans les jeux, les applications de réseautage social, les flux RSS, l'analyse des données en temps réel, les recommandations d'utilisateurs, etc.

2. Memcache

Memcached est un système de mise en cache d'objet de mémoire distribué libre et open-open, simple mais puissant. Il s'agit d'un magasin de valeurs clés en mémoire pour de petits morceaux de données tels que les résultats des appels de base de données, des appels API ou un rendu de page. Il fonctionne sur des systèmes d'exploitation de type UNIX, y compris Linux et OS X et également sur Microsoft Windows.

Étant un outil de développeur, il est destiné à être utilisé pour augmenter les vitesses d'applications Web dynamiques en mettant en cache du contenu (par défaut, un Le moins récemment utilisé (LRU) cache) réduisant ainsi la charge de base de données sur le disque - il agit comme une mémoire à court terme pour les applications. Il offre une API pour les langages de programmation les plus populaires.

Memcache prend en charge les chaînes comme le seul type de données. Il a une architecture client-serveur, où la moitié de la logique se produit du côté client et l'autre moitié du côté serveur. Surtout, les clients comprennent comment choisir le serveur à rédiger ou à lire, pour un élément. De plus, un client sait très bien quoi faire au cas où il ne peut pas se connecter à un serveur.

Bien qu'il s'agisse d'un système de mise en cache distribué, prend ainsi en charge le regroupement, les serveurs Memcached sont déconnectés les uns des autres (i.e ils ne sont pas conscients les uns des autres). Cela signifie qu'il n'y a pas de support de réplication comme dans Redis. Ils comprennent également comment stocker et récupérer des articles, et gérer quand expulser ou réutiliser la mémoire. Vous pouvez augmenter la mémoire disponible en ajoutant plus de serveurs.

Il prend en charge l'authentification et le chiffrement via TLS comme de Memcached 1.5.13, mais cette fonctionnalité est toujours en phase expérimentale.

3. Apache allume

Apache Ignite, est également un magasin de valeurs clés en mémoire distribué à l'ouverture libre et open, horizontalement, un système de base de données multimodel qui fournit des API de traitement puissantes pour le calcul des données distribuées. Il s'agit également d'une grille de données en mémoire qui peut être utilisée soit en mémoire, soit avec une persistance native Ignite. Il fonctionne sur des systèmes de type Unix tels que Linux et aussi les fenêtres.

Il dispose d'un stockage à plusieurs niveaux, d'une prise en charge SQL complète et ACIDE (Atomicité, cohérence, isolement, durabilité) Transactions (prise en charge uniquement au niveau de l'API de valeur clé) sur plusieurs nœuds de cluster, le traitement co-localisé et l'apprentissage automatique. Il prend en charge l'intégration automatique avec toutes les bases de données tierces, y compris tout SRBDS (comme MySQL, PostgreSQL, Oracle Database, etc.) ou les magasins NOSQL.

Il est important de noter que bien que Enflammer Fonctionne comme un magasin de données SQL, ce n'est pas entièrement une base de données SQL. Il gère distinctement les contraintes et les index par rapport aux bases de données traditionnelles; Il prend en charge les index primaires et secondaires, mais seuls les index principaux sont utilisés pour appliquer l'unicité. En outre, il n'a aucun support pour les contraintes de clés étrangères.

Ignite prend également en charge la sécurité en vous permettant d'activer l'authentification sur le serveur et de fournir des informations d'identification aux clients. Il existe également une prise en charge de la communication SSL Socket pour fournir une connexion sécurisée entre tous les nœuds Ignite.

Enflammer a de nombreux cas d'utilisation qui incluent des systèmes de mise en cache, l'accélération de la charge de travail système, le traitement des données en temps réel et l'analyse. Il peut également être utilisé comme plate-forme centrée sur les graphiques.

4. Serveur Couchbase

Le serveur Couchbase est également une base de données d'engagement orientée document open source, distribuée et OSQL qui stocke les données comme éléments dans un format de valeur clé. Il fonctionne sur Linux et d'autres systèmes d'exploitation tels que Windows et Mac OS X. Il utilise un langage de requête riches en fonctionnalités et axé sur les documents appelée N1QL qui fournit des services de requête et d'indexation puissants pour prendre en charge les opérations de moins de millisecondes sur des données.

Ses fonctionnalités notables sont un magasin de valeurs de clé rapide avec cache géré, indexers spécialement conçu, un puissant moteur de requête, une architecture d'échelle (échelle multidimensionnelle), Big Data et intégration SQL, sécurité complète et haute disponibilité.

Serveur Couchbase Livré avec la prise en charge du cluster de plusieurs instances natives, où un outil de cluster Manager coordonne toutes les activités de nœud et fournit simplement une interface à l'échelle du cluster aux clients. Surtout, vous pouvez ajouter, supprimer ou remplacer les nœuds au besoin, sans temps d'arrêt. Il prend également en charge la réplication des données sur les nœuds d'un cluster et la réplication sélective des données dans les centres de données.

Il implémente la sécurité via TLS en utilisant des ports de serveur CouchBase dédiés, différents mécanismes d'authentification (en utilisant des informations d'identification ou des certificats), un contrôle d'accès basé sur les rôles (pour vérifier chaque utilisateur authentifié pour les rôles définis par le système qu'ils sont attribués), l'audit, les journaux et les sessions.

Ses cas d'utilisation incluent une interface de programmation unifiée, une recherche en texte intégral, un traitement parallèle des requêtes, une gestion des documents, une indexation, et bien plus encore, il est spécialement conçu pour fournir une gestion des données de faible latence pour les applications interactives Web, mobiles et IoT à grande échelle.

5. IMDG Hazelcast

Hazelcast IMDG (Grid Data Grid) en mémoire) est un middleware de données en mémoire légère, léger, rapide et extensible. IMDG Hazelcast s'exécute également sur Linux, Windows, Mac OS X et toute autre plate-forme avec Java installée. Il prend en charge une grande variété de structures de données flexibles et linguistiques telles que MAP, set, liste, multimap, ringbuffer et hyperloglog.

Noisette Est-ce que peer-to-peer et prend en charge une évolutivité simple, une configuration de cluster (avec des options pour collecter des statistiques, un moniteur via le protocole JMX et gérer le cluster avec des utilitaires utiles), des structures et événements de données distribués, une part de données et des transactions. Il est également redondant car il maintient la sauvegarde de chaque saisie de données sur plusieurs membres. Pour mettre à l'échelle votre cluster, démarrez simplement une autre instance, les données et les sauvegardes sont automatiquement et uniformément équilibrés.

Il fournit une collection d'API utiles pour accéder aux CPU dans votre cluster pour une vitesse de traitement maximale. Il propose également des implémentations distribuées d'un grand nombre d'interfaces conviviales pour les développeurs de Java telles que la carte, la file d'attente, le service d'exécution, le verrouillage et le jcache.

Ses fonctionnalités de sécurité incluent les membres du cluster et l'authentification des clients et les contrôles de contrôle d'accès sur les opérations du client via les fonctionnalités de sécurité basées sur les JAAS. Il permet également d'intercepter les connexions de douilles et les opérations à distance exécutées par les clients, le chiffrement de la communication au niveau de la prise entre les membres du cluster et l'activation de la communication SSL / TLS. Mais selon la documentation officielle, la plupart de ces fonctionnalités de sécurité sont proposées dans la version d'entreprise.

Son cas d'utilisation le plus populaire est la mise en cache et le stockage des données distribuées. Mais il peut également être déployé pour le clustering de session Web, le remplacement du NOSQL, le traitement parallèle, la messagerie facile et bien plus encore.

6. Mcrouter

McRouter est un routeur de protocole MEMCached libre et open-open pour les déploiements Memcached, développés et entretenus par Facebook. Il dispose d'un protocole ASCII Memcached, d'un routage flexible, d'une prise en charge multi-cluster, de caches à plusieurs niveaux, d'un pool de connexions, de schémas de hachage multiples, d'un routage préfixe, de pools répliqués, d'observation du trafic de production, de reconfiguration en ligne et de surveillance de la santé / de basculement de destination / basculement automatique.

De plus, il prend en charge l'échauffement de Cold Cache, les commandes riches de statistiques et de débogages, de supprimer la qualité de service du flux de suppression fiable, de grandes valeurs et des opérations de diffusion, et est livré avec IPv6 et Support SSL.

Il est utilisé sur Facebook et Instagram comme composant central de l'infrastructure de cache, pour gérer près de 5 milliards de demandes par seconde au pic.

7. Cache de vernis

Varnish Cache est un accélérateur d'application Web flexible, moderne et polyvalent open source qui se trouve entre les clients Web et un serveur d'origine. Il fonctionne sur toutes les plates-formes modernes Linux, FreeBSD et Solaris (x86 uniquement). Il s'agit d'un excellent moteur de mise en cache et accélérateur de contenu que vous pouvez déployer devant un serveur Web tel que Nginx, Apache et bien d'autres, pour écouter sur le port HTTP par défaut pour recevoir et transférer les demandes des clients au serveur Web et livrer le Web Réponse des serveurs au client.

Tout en agissant comme un intermédiaire entre les clients et les serveurs d'origine, Cache de vernis offre plusieurs avantages, l'élément étant en cache du contenu Web en mémoire pour atténuer la charge de votre serveur Web et améliorer les vitesses de livraison aux clients.

Après avoir reçu une demande HTTP à un client, il le transmet au serveur Web backend. Une fois que le serveur Web a répondu, Varnish cache le contenu en mémoire et fournit la réponse au client. Lorsque le client demande le même contenu, le vernis le servira à partir de la réponse de l'application de renforcement du cache. S'il ne peut pas servir le contenu du cache, la demande est transmise au backend et la réponse est mise en cache et livrée au client.

Vernis caractéristiques Vcl (Langue de configuration de vernis - un langage flexible spécifique au domaine) utilisé pour configurer la façon dont les demandes sont traitées et plus, Modules de vernis (Vmod) qui sont des extensions pour le cache de vernis.

En termes de sécurité, le cache de vernis prend en charge l'exploitation forestière, l'inspection des demandes, la limitation, l'authentification et l'autorisation via Vmod, Mais il manque de support natif pour SSL / TLS. Vous pouvez activer Https pour le cache de vernis à l'aide d'un proxy SSL / TLS tel que Attelage ou nginx.

Vous pouvez également utiliser Varnish Cache comme pare-feu d'application Web, défenseur d'attaque DDOS, protecteur Hotlinking, équilibreur de charge, point d'intégration, passerelle de connexion unique, mécanisme de politique d'authentification et d'autorisation, correction rapide pour les backends instables et le routeur de demande HTTP HTTP.

8. Proxy de mise en cache de calmar

Un autre proxy gratuit et open-source, exceptionnel et largement utilisé, et une solution de mise en cache pour Linux est le calmar. Il s'agit d'un logiciel de serveur de cache proxy riche en fonctionnalités qui fournit des services de proxy et de cache pour les protocoles réseau populaires, notamment HTTP, HTTPS et FTP. Il fonctionne également sur d'autres plates-formes Unix et fenêtres.

Juste comme Cache de vernis, Il reçoit les demandes des clients et les transmet aux serveurs backend spécifiés. Lorsque le serveur backend répond, il stocke une copie du contenu dans un cache et la transmet au client. Les demandes futures de même contenu seront servies à partir du cache, ce qui entraînera une livraison de contenu plus rapide au client. Il optimise donc le flux de données entre le client et le serveur pour améliorer les performances et les caches du contenu fréquemment utilisé pour réduire le trafic réseau et enregistrer la bande passante.

Squid est livré avec des fonctionnalités telles que la distribution de la charge sur les hiérarchies intercommunesures de serveurs proxy, produisant des données concernant les modèles d'utilisation Web (E.Les statistiques G sur les sites la plupart visitées), vous permet d'analyser, capturer, bloquer, remplacer ou modifier les messages proxés.

Il prend également en charge les fonctionnalités de sécurité telles que le riche contrôle d'accès, l'autorisation et l'authentification, le support SSL / TLS et la journalisation des activités.

9. Nginx

Nginx (prononcé comme Moteur-x) est une solution consolidée open source, haute performance, complète et très populaire pour configurer l'infrastructure Web. Il s'agit d'un serveur HTTP, d'un serveur proxy inversé, d'un serveur proxy de courrier et d'un serveur proxy générique TCP / UDP.

Nginx Offre des capacités de mise en cache de base où le contenu en cache est stocké dans un cache persistant sur disque. La partie fascinante de la mise en cache de contenu dans nginx est qu'elle peut être configurée pour fournir du contenu périmé à partir de son cache lorsqu'il ne peut pas récupérer de nouveau contenu à partir des serveurs d'origine.

Nginx propose une multitude de fonctionnalités de sécurité pour sécuriser vos systèmes Web, il s'agit notamment de terminaison SSL, restreignant l'accès avec l'authentification de base HTTP, l'authentification basée sur le résultat de la sous-demande, l'authentification JWT, la restriction de l'accès aux ressources HTTP proxiées, la restriction de l'accès par emplacement géographique, et beaucoup plus.

Il est généralement déployé comme proxy inversé, équilibreur de chargement, terminateur SSL / passerelle de sécurité, accélérateur d'application / cache de contenu et passerelle API dans une pile d'application. Il est également utilisé pour les supports en streaming.

dix. Serveur de trafic Apache

Enfin et surtout, nous avons Apache Traffic Server, un serveur proxy de mise en cache open source, rapide, évolutif et extensible avec la prise en charge de HTTP / 1.1 et http / 2.0. Il est conçu pour améliorer l'efficacité et les performances du réseau en mettant en cache du contenu fréquemment accroché au bord d'un réseau, pour les entreprises, les FAI (fournisseurs de serveurs Internet), les fournisseurs de squelette, et plus encore.

Il prend en charge la proxyation vers l'avant et l'inverse du trafic HTTP / HTTPS. Il peut également être configuré pour s'exécuter simultanément dans l'un ou les deux. Il dispose d'une mise en cache persistante, des API de plugin; Prise en charge de l'ICP (Internet Cache Protocol), ESI (côté bord comprend); Keep-Alive, et plus.

En termes de sécurité, le serveur de trafic prend en charge le contrôle de l'accès des clients en vous permettant de configurer des clients autorisés à utiliser le cache proxy, la terminaison SSL pour les deux connexions entre les clients et elle-même, et entre lui-même et le serveur d'origine. Il prend également en charge l'authentification et l'autorisation de base via un plugin, la journalisation (de chaque demande qu'il reçoit et chaque erreur qu'il détecte) et la surveillance.

Le serveur de trafic peut être utilisé comme cache proxy Web, proxy vers l'avant, proxy inversé, proxy transparent, équilibreur de chargement ou dans une hiérarchie de cache.

Remarques finales

Mise en cache est l'une des technologies de livraison de contenu Web les plus bénéfiques et les plus établies de longue date qui est principalement conçue pour augmenter la vitesse des sites Web ou des applications. Il aide à réduire la charge du serveur, la latence et la bande passante de votre réseau car les données en cache sont servies aux clients, améliorant ainsi le temps de réponse de l'application et les vitesses de livraison aux clients.

Dans cet article, nous avons passé en revue les meilleurs outils de mise en cache open source à utiliser sur les systèmes Linux. Si vous connaissez d'autres outils de mise en cache open source non répertoriés ici s'il vous plaît, partagez-les avec nous via le formulaire de rétroaction ci-dessous. Vous pouvez également partager vos réflexions sur cet article avec nous.