【赵渝强老师】大数据日志采集引擎Flume
Apache Flume支持采集各类数据发送方产生的日志信息，并且可以将采集到的日志信息写到各种数据接收方。其核心是把数据从数据源（Source）收集过来，在将收集到的数据送到指定的目的地（Sink）。为了保证输送的过程一定成功，在送到目的地（Sink）之前，会先缓存数据（Channel）,待数据真正到达目的地（Sink）后，Flume再删除自己缓存的数据。 一、 Apache...
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL是Write Ahead Logging的缩写，即预写日志，它是保证数据完整性的一种标准方法。简单来说就是在PostgreSQL数据库中要对数据文件进行修改时必须先写入WAL日志信息，即当WAL日志记录完成了持久化，刷新到永久储存之后才能更改数据文件。根据这个原则就不需要在每次提交事务的时候都刷新数据到磁盘。因为当数据库出现宕机发生数据丢失时，可以重新执行WAL日志....
【赵渝强老师】Redis的慢查询日志
Redis慢查询日志帮助开发和运维人员定位系统存在的慢操作。慢查询日志就是系统在命令执行前后计算每条命令的执行时间，当超过预设阀值，就将这条命令的相关信息（慢查询ID，发生时间戳，耗时，命令的详细信息）记录下来。Redis客户端的一条命令可以分为四个部分执行，如下图所示。 视频讲解如...
【赵渝强老师】MongoDB的Journal日志
数据是MongoDB的核心，MongoDB通过使用Journal日志保证数据的安全。Journal日志用于记录上一个检查点之后发生的数据更新，并将更新的信息顺序写入Journal日志文件中。通过使用Journal日志能够将数据库从系统异常终止事件中还原到一个有效的状态。通过6.5.1.3小节的介绍了解到，MongoDB使用预写日志机制实现数据的持久化。每个Journal日志文件的大小是100M，....
【赵渝强老师】PostgreSQL的服务器日志文件
PostgreSQL数据库的物理存储结构主要是指硬盘上存储的文件，包括：数据文件、日志文件、参数文件、控制文件、WAL预写日志文件等等。下面重点讨论一下PostgreSQL的服务器日志文件。视频讲解如下： ...
【赵渝强老师】PostgreSQL的WAL预写日志文件
PostgreSQL数据库的物理存储结构主要是指硬盘上存储的文件，包括：数据文件、日志文件、参数文件、控制文件、WAL预写日志文件等等。下面重点讨论一下PostgreSQL的WAL预写日志文件。视频讲解如下： ...
【赵渝强老师】PostgreSQL的运行日志文件
PostgreSQL数据库的物理存储结构主要是指硬盘上存储的文件，包括：数据文件、日志文件、参数文件、控制文件、WAL预写日志文件等等。而PostgreSQL的日志文件又分为运行日志、WAL预写日志、事务日志和服务器日志。 下面重点讨论一下PostgreSQL的运行日志文件。视频讲解如下： ...
【赵渝强老师】MySQL的全量日志文件
MySQL的全量日志（general log）会记录MySQL数据库所有操作的SQL语句，包含select和show。默认情况下，禁用全量日志。视频讲解如下： 下面通过具体的步...
【赵渝强老师】MySQL的慢查询日志
MySQL的慢查询日志可以把超过参数long_query_time时间的所有SQL语句记录进来，帮助DBA人员优化所有有问题的SQL语句。通过mysqldumpslow工具可以查看慢查询日志。 视频讲解如下： ...
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志文件（也叫做：二进制日志）记录了对MySQL数据库执行更改的所有操作，但是不包括SELECT和SHOW这类操作，因为这类操作对数据本身并没有修改。若操作本身并没有导致数据库发生变化，那么该操作不会被写入binlog。binlog日志文件的主要作用： 可以完成主从复制。在主服务器上把所有修改数据的操作记录到binlog中，通过网络发送给从服...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
