Day 04 | 三剑客与 SQL 优化

#!/bin/bash
# 04_log_analysis.sh - 日志分析脚本

LOG_FILE="app_trace.log"

# ============================================
# 1. 模拟生成日志文件
# ============================================

# 创建日志文件并写入模拟数据
# >：覆盖写入（如果文件已存在，会清空后写入）
echo "INFO: Service started" > $LOG_FILE
echo "ERROR: Connection timeout" >> $LOG_FILE
echo "INFO: Health check pass" >> $LOG_FILE
echo "ERROR: Database unreachable" >> $LOG_FILE
echo "INFO: User login successful" >> $LOG_FILE
echo "ERROR: Permission denied" >> $LOG_FILE

echo "Log file created: $LOG_FILE"
echo "----------------------------------------"

# ============================================
# 2. 使用 grep 提取 ERROR 行
# ============================================

echo "Analyzing errors..."
echo "----------------------------------------"

# grep "ERROR"：查找包含 ERROR 的行
# -n：显示行号
# -i：忽略大小写（虽然这里不需要，但演示用法）
echo "All ERROR lines (with line numbers):"
grep -n "ERROR" $LOG_FILE
echo ""

# ============================================
# 3. 使用 awk 提取错误信息
# ============================================

# awk -F': '：指定分隔符为 ": "（冒号+空格）
# {print $2}：打印第二列（错误信息部分）
echo "Error messages only:"
grep "ERROR" $LOG_FILE | awk -F': ' '{print $2}'
echo ""

# ============================================
# 4. 使用 grep 统计错误数量
# ============================================

# grep -c：统计匹配的行数
error_count=$(grep -c "ERROR" $LOG_FILE)
echo "Total Errors: $error_count"
echo ""

# ============================================
# 5. 使用 awk 统计 INFO 和 ERROR 的数量
# ============================================

echo "Log statistics:"
# awk 统计：对每行进行匹配，累加计数
# /ERROR/：匹配包含 ERROR 的行
# /INFO/：匹配包含 INFO 的行
# END：处理完所有行后执行
awk '
/ERROR/ { error++ }
/INFO/ { info++ }
END {
    print "  ERROR: " error
    print "  INFO:  " info
    print "  Total: " (error + info)
}
' $LOG_FILE
echo ""

# ============================================
# 6. 使用 sed 格式化输出
# ============================================

echo "Formatted error messages:"
# sed 's/ERROR: //'：删除 "ERROR: " 前缀
# sed 's/$/ [CRITICAL]/'：在每行末尾添加 " [CRITICAL]"
grep "ERROR" $LOG_FILE | sed 's/ERROR: //' | sed 's/$/ [CRITICAL]/'
echo ""

# ============================================
# 7. 三剑客组合使用
# ============================================

echo "Combined usage (grep | awk | sed):"
# 管道组合：grep 过滤 -> awk 提取 -> sed 格式化
grep "ERROR" $LOG_FILE | \
    awk -F': ' '{print $2}' | \
    sed 's/^/  - /' | \
    sed 's/$/ (needs attention)/'

-- ============================================
-- Day 04: SQL 索引优化实战
-- ============================================

USE infra_db;

-- ============================================
-- 1. 查看当前表结构
-- ============================================

-- 查看 users 表的索引情况
SHOW INDEX FROM users;

-- ============================================
-- 2. 创建索引
-- ============================================

-- 为 username 字段创建普通索引
-- 索引名称：idx_username（命名规范：idx_字段名）
-- 如果索引已存在，会报错，可以使用 IF NOT EXISTS（MySQL 8.0+）
ALTER TABLE users ADD INDEX idx_username (username);

-- 验证索引创建
SHOW INDEX FROM users;
-- 应该看到 idx_username 索引

-- ============================================
-- 3. 使用 EXPLAIN 分析查询
-- ============================================

-- 分析使用索引的查询
-- 这个查询应该使用 idx_username 索引
EXPLAIN SELECT * FROM users WHERE username = 'Alice';

-- 查看 EXPLAIN 结果的关键字段：
-- type: ref（使用非唯一索引）
-- key: idx_username（使用的索引）
-- rows: 1（扫描的行数，应该很少）

-- ============================================
-- 4. 对比有索引和无索引的查询
-- ============================================

-- 查询 1：使用索引（精确匹配）
EXPLAIN SELECT * FROM users WHERE username = 'Alice';
-- 预期：type = ref, key = idx_username, rows = 1

-- 查询 2：不使用索引（全表扫描）
-- 注意：如果表很小，MySQL 可能选择全表扫描而不是索引
EXPLAIN SELECT * FROM users WHERE email = 'alice@example.com';
-- 预期：type = ALL（全表扫描），因为没有 email 索引

-- ============================================
-- 5. 索引失效的情况
-- ============================================

-- 情况 1：LIKE 左模糊匹配（索引失效）
EXPLAIN SELECT * FROM users WHERE username LIKE '%lic';
-- 预期：type = ALL（全表扫描），索引失效
-- 原因：左模糊匹配无法利用索引

-- 情况 2：LIKE 右模糊匹配（可以使用索引）
EXPLAIN SELECT * FROM users WHERE username LIKE 'Alic%';
-- 预期：type = range, key = idx_username
-- 原因：右模糊匹配可以利用索引

-- 情况 3：函数操作（索引失效）
-- 注意：如果 created_at 有索引
EXPLAIN SELECT * FROM users WHERE YEAR(created_at) = 2024;
-- 预期：type = ALL（全表扫描），索引失效
-- 原因：对字段使用函数会导致索引失效

-- 情况 4：类型转换（可能导致索引失效）
-- 如果 id 是 INT 类型
EXPLAIN SELECT * FROM users WHERE id = '1';
-- MySQL 可能会进行类型转换，影响性能

-- ============================================
-- 6. 创建复合索引
-- ============================================

-- 为 status 和 created_at 创建复合索引
-- 复合索引：多个字段组成的索引
ALTER TABLE users ADD INDEX idx_status_created (status, created_at);

-- 验证复合索引
SHOW INDEX FROM users;

-- 使用复合索引的查询
EXPLAIN SELECT * FROM users WHERE status = 1 ORDER BY created_at DESC;
-- 预期：type = ref, key = idx_status_created
-- 注意：复合索引遵循"最左前缀原则"

-- ============================================
-- 7. 删除索引（如果需要）
-- ============================================

-- 删除索引的语法（演示用，不要执行）
-- ALTER TABLE users DROP INDEX idx_username;