Bonjour;
C'est que j'ai mis en place. [Client rsyslog] --> [logstash shipper (redis pour la perf) --> logstash indexer] --> [ES]
Ca fonctionne parfaitement. J´index un demi milliard de log (srv, fw, mysql queries) par jour.
A+
Nicolas Girardi.
Le 6 févr. 2017 à 15:01, frsag@jack.fr.eu.org a écrit :
Mon idée pour l'instant (qui n'est pas fini de concevoir, et donc pas en prod), c'est d'utiliser rsyslog sur toutes les machines
Sur un serveur centralisé, je récupére l'ensemble des logs, format "classique", et je pousse les informations que je juge nécessaire dans ELK
Les avantages:
- rsyslog est déjà sur toute mes machines
- le fait de garder à disposition des fichiers "bruts" me permet
potentiellement de faire du traitement a posteriori (sans compter que c'est plus simple, j'imagine, d'envoyer un accesslog que de le reconstruire via ELK)
À noter que plusieurs softs parlent directement le syslog, nginx par exemple
On 06/02/2017 14:44, Alexandre wrote: Bonjour à tous,
je pense que se sujet a été abordés plusieurs fois mais je n'ai pas trouvé d'informations.
Nous souhaitons centraliser nos logs (applicatifs, systèmes ...). Nous avons maquetté une solution standard avec Elasticsearh + Logstash + Kibana. Le trio fonctionne très bien, nous créons des custom logs et en y applique via logstash un template pour sortir tous les champs intéressant.
Cependant si nous devons mettre en production cette solution comme nous l'avons maquetté, il faut que nous installation un logstash sur toutes les machines. Le déploiement pose aucun problème, mais mettre du java sur toutes mes machines sachant que le process mange du CPU et la RAM, cela me plaît très moyennement.
Mon idée serait d'utiliser un outils centralisant les logs sur un cluster et d'y paramétrer un logstash qui injecterait les données venant des différents log. Il y a quelques années je m'étais bien amusé avec syslog-ng, et en production c'était pas mal.
Je me permets de vous demander si syslog-ng est toujours un outils utilisé ? ou plutôt dépassé. J'ai vu qu'il était possible de centraliser les log directement via rsyslog, pensez-vous que cela soit une bonne solution ? Il y a t'il d'autres solutions mieux que syslog-ng ou rsyslog pour centraliser les logs ?
Par avance, merci pour vos réponses.
Alexandre. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- "UNIX was not designed to stop its users from doing stupid things, as that would also stop them from doing clever things." – Doug Gwyn _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/