Day 26 | Go 实战工具开发 (二)

package main

import (
    "bufio"
    "fmt"
    "os"
    "strings"
    "sync"
    "time"
)

// 全局统计结果
var (
    ipCounter = make(map[string]int)
    mu        sync.Mutex // 互斥锁，防止多个并发写 Map 导致 Panic
)

// Worker 函数：负责处理具体的字符串逻辑
func analyzer(lines <-chan string, wg *sync.WaitGroup) {
    defer wg.Done()
    
    // 不断从通道取日志行
    for line := range lines {
        // 1. 极简提取方案 (strings.Split 比正则快 10 倍以上)
        // 假设日志格式为 "IP - - ...", 空格分割后的第一个元素就是 IP
        parts := strings.Split(line, " ")
        if len(parts) > 0 {
            ip := parts[0]
            
            // 2. 加锁更新全局 Map
            // 临界区要尽可能小，处理完数据再加锁
            mu.Lock()
            ipCounter[ip]++
            mu.Unlock()
        }
    }
}

func main() {
    start := time.Now()
    
    // 打开文件
    file, err := os.Open("access.log")
    if err != nil {
        fmt.Println("Error:", err)
        return
    }
    defer file.Close()

    // 3. 通道与同步控制
    // 缓冲区设大一点 (5000)，防止读文件太快把通道塞满阻塞了 Reader
    lines := make(chan string, 5000) 
    var wg sync.WaitGroup

    // 启动 4 个分析 Worker (通常设置为 CPU 核心数)
    for i := 0; i < 4; i++ {
        wg.Add(1)
        go analyzer(lines, &wg)
    }

    // 4. 主线程负责读文件 (Producer)
    // 读硬盘通常是单线程的瓶颈，所以用主线程读即可
    scanner := bufio.NewScanner(file)
    fmt.Println("🚀 Analysis started...")
    
    count := 0
    for scanner.Scan() {
        lines <- scanner.Text() // 把读到的行发给 Worker
        count++
    }
    close(lines) // 读完关闭通道，通知 Worker 收工

    // 等待所有 Worker 处理完剩余数据
    wg.Wait()
    
    fmt.Printf("✅ Processed %d lines in %v.\n", count, time.Since(start))
    fmt.Printf("Unique IPs found: %d\n", len(ipCounter))
    
    // (可选) 这里可以加一个排序逻辑打印 Top 10，为简化代码略去
}