# System V init での典型的な問題
service httpd start
# 成功したように見えるが、実際は設定エラーで起動していない

ps aux | grep httpd
# プロセスが存在しない

# ログを確認しないと原因が分からない
tail /var/log/httpd/error_log
# [error] (98)Address already in use: make_sock: could not bind to address 0.0.0.0:80

# 起動時間の分析
systemd-analyze
# Startup finished in 2.547s (kernel) + 3.021s (initrd) + 8.123s (userspace) = 13.691s

# 詳細な起動チェーン分析  
systemd-analyze critical-chain
# The time when unit became active or started is printed after the "@" character.
# multi-user.target @8.087s
# └─apache2.service @7.292s +794ms
#   └─network.target @7.286s
#     └─NetworkManager.service @6.234s +1.051s
#       └─dbus.service @6.195s

# グラフィカルな依存関係表示
systemd-analyze plot > startup.svg

# Webアプリケーションの分離設定
cat > /etc/systemd/system/webapp.service << EOF
[Unit]
Description=Web Application
After=network.target

[Service]
Type=simple
User=webapp
Group=webapp
ExecStart=/opt/webapp/bin/server
Restart=always

# リソース制限
CPUQuota=25%
MemoryMax=512M

# セキュリティ強化
PrivateTmp=true
ProtectSystem=strict
ProtectHome=true
ReadWritePaths=/var/log/webapp /var/lib/webapp
NoNewPrivileges=true
PrivateDevices=true

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl start webapp.service

# 制限の確認
systemctl show webapp.service | grep -E "(CPU|Memory)"

# ログエントリの詳細表示
journalctl -o verbose -n 1
# Fri 2024-06-18 10:15:30 JST [s=7f4c8d2e1a9c...]
# MESSAGE=Started HTTP Server
# _PID=1234
# _UID=33
# _GID=33
# _COMM=httpd
# _EXE=/usr/sbin/httpd
# _CMDLINE=/usr/sbin/httpd -DFOREGROUND
# _SYSTEMD_CGROUP=/system.slice/httpd.service
# _SYSTEMD_UNIT=httpd.service
# PRIORITY=6
# _TRANSPORT=journal
# _HOSTNAME=server01
# _MACHINE_ID=a1b2c3d4...

# ユニット別ログ表示
journalctl -u httpd.service

# 時間範囲指定
journalctl --since "2024-06-18 09:00:00" --until "2024-06-18 10:00:00"

# 優先度フィルタ
journalctl -p err               # エラー以上のみ
journalctl -p warning..crit     # 警告からクリティカルまで

# プロセスID指定
journalctl _PID=1234

# 複合条件
journalctl _SYSTEMD_UNIT=httpd.service PRIORITY=3

# リアルタイム監視
journalctl -f -u httpd.service

# journald 設定ファイル
cat > /etc/systemd/journald.conf << EOF
[Journal]
Storage=persistent      # 永続化有効
Compress=yes           # 圧縮有効
SystemMaxUse=1G        # 最大使用容量
SystemMaxFileSize=100M  # 単一ファイル最大サイズ
MaxRetentionSec=7day   # 保持期間
MaxFileSec=1day        # ファイル分割間隔
EOF

systemctl restart systemd-journald

# 容量使用状況確認
journalctl --disk-usage
# Archived and active journals take up 456.7M in the file system.

# rsyslog との連携設定
cat > /etc/rsyslog.d/00-journal.conf << EOF
# journald から rsyslog への転送
$ModLoad imjournal
$IMJournalStateFile /var/lib/rsyslog/imjournal.state
$OmitLocalLogging on
*.* @@log-server.example.com:514
EOF

# fluentd との連携
# /etc/fluent/fluent.conf
<source>
  @type systemd
  tag systemd
  path /var/log/journal
  pos_file /var/log/fluentd-journald.log.pos
  filters [{ "_SYSTEMD_UNIT": "httpd.service" }]
  read_from_head true
</source>

# 自動圧縮スクリプトの例
cat > /usr/local/bin/log-compress.sh << 'EOF'
#!/bin/bash

LOG_DIR="/var/log/archive"
COMPRESS_DAYS=1
DELETE_DAYS=90

# 1日経過したログを圧縮
find /var/log -name "*.log" -mtime +${COMPRESS_DAYS} \
  -not -path "/var/log/archive/*" \
  -exec gzip {} \;

# 圧縮済みログをアーカイブディレクトリに移動
find /var/log -name "*.log.gz" -mtime +1 \
  -not -path "/var/log/archive/*" \
  -exec mv {} ${LOG_DIR}/ \;

# 90日経過したアーカイブを削除
find ${LOG_DIR} -name "*.log.gz" -mtime +${DELETE_DAYS} \
  -delete
EOF

chmod +x /usr/local/bin/log-compress.sh

# systemd timer での定期実行
cat > /etc/systemd/system/log-compress.service << EOF
[Unit]
Description=Compress old log files

[Service]
Type=oneshot
ExecStart=/usr/local/bin/log-compress.sh
EOF

cat > /etc/systemd/system/log-compress.timer << EOF
[Unit]
Description=Run log compression daily

[Timer]
OnCalendar=daily
Persistent=true

[Install]
WantedBy=timers.target
EOF

systemctl enable --now log-compress.timer

# rsyslog の非同期転送設定
cat > /etc/rsyslog.d/90-forwarding.conf << EOF
# 非同期処理キューの設定
$ActionQueueType LinkedList
$ActionQueueFileName remote
$ActionResumeRetryCount -1
$ActionQueueSaveOnShutdown on
$ActionQueueTimeoutEnqueue 10
$ActionQueueDiscardMark 9750
$ActionQueueHighWaterMark 9000

# バッファリング設定
$ActionSendStreamDriverMode 1
$ActionSendStreamDriverAuthMode x509/name

# 複数ログサーバーへの冗長転送
*.* @@log-server1.example.com:514
*.* @@log-server2.example.com:514
EOF

ansible-playbook -i inventory/production webserver.yml

PLAY [Configure web servers] **********************************

TASK [Gathering Facts] ***************************************
ok: [web01.example.com]
ok: [web02.example.com]
ok: [web03.example.com]

TASK [webserver : Install Apache] ***************************
ok: [web01.example.com]  # 既にインストール済み
changed: [web02.example.com]  # 新規インストール
ok: [web03.example.com]

TASK [webserver : Configure Apache] *************************
changed: [web01.example.com]  # 設定変更
ok: [web02.example.com]  # 設定変更なし
ok: [web03.example.com]

RUNNING HANDLER [webserver : restart apache] ****************
changed: [web01.example.com]  # web01のみ再起動

PLAY RECAP ***************************************************
web01.example.com      : ok=4    changed=2    unreachable=0    failed=0
web02.example.com      : ok=3    changed=1    unreachable=0    failed=0
web03.example.com      : ok=3    changed=0    unreachable=0    failed=0

# 初期設定
terraform init

# 計画の確認
terraform plan -var-file="production.tfvars"

# 適用
terraform apply -var-file="production.tfvars"

# 出力確認
terraform output

# ノードのリソース使用状況確認
kubectl top nodes
# NAME       CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
# worker-1   256m         12%    1024Mi          32%
# worker-2   180m         9%     768Mi           24%
# worker-3   420m         21%    1536Mi          48%

# Pod配置状況の確認
kubectl get pods -o wide
# NAME                       NODE       STATUS
# web-app-5f6d8b7c9d-abc12   worker-1   Running
# web-app-5f6d8b7c9d-def34   worker-2   Running
# web-app-5f6d8b7c9d-ghi56   worker-3   Running

# スケジューリング失敗の確認
kubectl get events --field-selector reason=FailedScheduling

#!/bin/bash
# comprehensive_diagnostics.sh - システム状態の包括的診断

TIMESTAMP=$(date +%Y%m%d_%H%M%S)
REPORT_DIR="/var/log/diagnostics/${TIMESTAMP}"
mkdir -p "${REPORT_DIR}"

# 診断レポートの開始
exec > >(tee -a "${REPORT_DIR}/diagnostic_report.log")
exec 2>&1

echo "=== システム診断開始: ${TIMESTAMP} ==="

# 1. ネットワーク診断
echo -e "\n=== ネットワーク診断 ==="
{
    echo "## 接続性テスト"
    ping -c 3 8.8.8.8 || echo "外部接続: 失敗"
    ping -c 3 $(ip route | grep default | awk '{print $3}') || echo "ゲートウェイ接続: 失敗"
    
    echo -e "\n## リスニングポート"
    ss -tlnp | grep -E ':80|:443|:22|:3306|:5432|:6379'
    
    echo -e "\n## ネットワーク統計"
    netstat -s | grep -E 'retransmit|error|failed|timeout'
    
    echo -e "\n## DNS解決テスト"
    for domain in google.com $(hostname -f); do
        dig +short $domain || echo "DNS解決失敗: $domain"
    done
} > "${REPORT_DIR}/network_diagnostics.log"

# 2. システムリソース診断
echo -e "\n=== システムリソース診断 ==="
{
    echo "## CPU使用状況"
    mpstat -P ALL 1 3
    echo -e "\n## 高CPU使用プロセス"
    ps aux --sort=-%cpu | head -20
    
    echo -e "\n## メモリ使用状況"
    free -h
    echo -e "\n## メモリ詳細"
    cat /proc/meminfo | grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SwapTotal|SwapFree'
    
    echo -e "\n## ディスク使用状況"
    df -h
    echo -e "\n## iノード使用状況"
    df -i
    
    echo -e "\n## I/O統計"
    iostat -x 1 3
} > "${REPORT_DIR}/resource_diagnostics.log"

# 3. サービス状態診断
echo -e "\n=== サービス状態診断 ==="
{
    echo "## systemdサービス状態"
    systemctl list-units --failed
    
    echo -e "\n## 重要サービスの詳細状態"
    for service in nginx httpd mysql postgresql redis docker kubelet; do
        if systemctl list-unit-files | grep -q "^${service}.service"; then
            echo -e "\n### ${service}"
            systemctl status ${service} --no-pager
            journalctl -u ${service} --since "1 hour ago" --no-pager | tail -50
        fi
    done
} > "${REPORT_DIR}/service_diagnostics.log"

# 4. ログ分析
echo -e "\n=== ログ分析 ==="
{
    echo "## システムログのエラー"
    journalctl -p err --since "1 hour ago" --no-pager
    
    echo -e "\n## カーネルメッセージ"
    dmesg -T | grep -E 'error|fail|warn' | tail -50
    
    echo -e "\n## 認証ログ"
    grep -E 'Failed|Invalid|error' /var/log/auth.log | tail -50
} > "${REPORT_DIR}/log_analysis.log"

# 5. セキュリティチェック
echo -e "\n=== セキュリティチェック ==="
{
    echo "## ログイン失敗"
    lastb | head -20
    
    echo -e "\n## 現在の接続"
    ss -tnp | grep ESTABLISHED
    
    echo -e "\n## ファイアウォール状態"
    iptables -L -n -v
} > "${REPORT_DIR}/security_check.log"

# 診断結果の要約
echo -e "\n=== 診断結果要約 ==="
CRITICAL_ISSUES=0

# クリティカルな問題の検出
if ! ping -c 1 8.8.8.8 &>/dev/null; then
    echo "⚠️  外部ネットワーク接続不可"
    ((CRITICAL_ISSUES++))
fi

if [ $(df -h / | awk 'NR==2 {print int($5)}') -gt 90 ]; then
    echo "⚠️  ルートファイルシステム使用率90%超過"
    ((CRITICAL_ISSUES++))
fi

if [ $(free | awk '/^Mem:/ {print int($3/$2 * 100)}') -gt 90 ]; then
    echo "⚠️  メモリ使用率90%超過"
    ((CRITICAL_ISSUES++))
fi

if systemctl list-units --failed | grep -q failed; then
    echo "⚠️  失敗したsystemdサービスあり"
    ((CRITICAL_ISSUES++))
fi

echo -e "\nクリティカルな問題: ${CRITICAL_ISSUES}件"
echo "詳細レポート: ${REPORT_DIR}"

# アラート送信（必要に応じて）
if [ ${CRITICAL_ISSUES} -gt 0 ]; then
    # Slackへの通知
    if [ -n "${SLACK_WEBHOOK_URL}" ]; then
        curl -X POST ${SLACK_WEBHOOK_URL} \
            -H 'Content-Type: application/json' \
            -d "{\"text\":\"⚠️ システム診断: ${CRITICAL_ISSUES}件のクリティカルな問題を検出\\nホスト: $(hostname)\\n詳細: ${REPORT_DIR}\"}"
    fi
fi

#!/bin/bash
# auto_remediation.sh - 一般的な問題の自動修復

LOG_FILE="/var/log/auto_remediation.log"
exec >> "${LOG_FILE}" 2>&1

log() {
    echo "[$(date '+%Y-%m-%d %H:%M:%S')] $1"
}

# 1. ディスク容量の自動クリーンアップ
check_disk_space() {
    local threshold=85
    local usage=$(df -h / | awk 'NR==2 {print int($5)}')
    
    if [ ${usage} -gt ${threshold} ]; then
        log "ディスク使用率 ${usage}% - クリーンアップ開始"
        
        # 古いログファイルの削除
        find /var/log -type f -name "*.log" -mtime +30 -delete
        find /var/log -type f -name "*.gz" -mtime +7 -delete
        
        # パッケージキャッシュのクリア
        if command -v apt-get &>/dev/null; then
            apt-get clean
        elif command -v yum &>/dev/null; then
            yum clean all
        fi
        
        # Dockerの不要なイメージとコンテナを削除
        if command -v docker &>/dev/null; then
            docker system prune -af --volumes
        fi
        
        # journalログのローテーション
        journalctl --vacuum-time=7d
        
        log "クリーンアップ完了 - 新しい使用率: $(df -h / | awk 'NR==2 {print $5}')"
    fi
}

# 2. メモリ不足への対応
check_memory() {
    local available=$(free -m | awk '/^Mem:/ {print $7}')
    local total=$(free -m | awk '/^Mem:/ {print $2}')
    local usage=$((100 - (available * 100 / total)))
    
    if [ ${usage} -gt 90 ]; then
        log "メモリ使用率 ${usage}% - メモリ解放開始"
        
        # ページキャッシュのクリア
        sync && echo 1 > /proc/sys/vm/drop_caches
        
        # 高メモリ使用プロセスの特定
        ps aux --sort=-%mem | head -10 > /tmp/high_memory_processes.log
        
        log "メモリ解放完了"
    fi
}

# 3. サービスの自動再起動
check_services() {
    local critical_services=("nginx" "mysql" "postgresql" "redis" "docker")
    
    for service in "${critical_services[@]}"; do
        if systemctl list-unit-files | grep -q "^${service}.service"; then
            if ! systemctl is-active ${service} &>/dev/null; then
                log "サービス ${service} が停止 - 再起動試行"
                systemctl restart ${service}
                
                sleep 5
                if systemctl is-active ${service} &>/dev/null; then
                    log "サービス ${service} の再起動成功"
                else
                    log "エラー: サービス ${service} の再起動失敗"
                    # エスカレーション処理
                    send_alert "Critical: ${service} service failed to restart on $(hostname)"
                fi
            fi
        fi
    done
}

# 4. ネットワーク接続の修復
check_network() {
    if ! ping -c 1 8.8.8.8 &>/dev/null; then
        log "ネットワーク接続なし - 修復試行"
        
        # ネットワークサービスの再起動
        systemctl restart NetworkManager || systemctl restart networking
        
        # DNSキャッシュのクリア
        systemctl restart systemd-resolved || service nscd restart
        
        # デフォルトルートの確認と再設定
        if ! ip route | grep -q default; then
            # DHCPクライアントの再起動
            dhclient -r && dhclient
        fi
        
        sleep 5
        if ping -c 1 8.8.8.8 &>/dev/null; then
            log "ネットワーク接続の修復成功"
        else
            log "エラー: ネットワーク接続の修復失敗"
        fi
    fi
}

# アラート送信関数
send_alert() {
    local message="$1"
    
    # Slack通知
    if [ -n "${SLACK_WEBHOOK_URL}" ]; then
        curl -X POST ${SLACK_WEBHOOK_URL} \
            -H 'Content-Type: application/json' \
            -d "{\"text\":\"${message}\"}"
    fi
    
    # メール通知
    if command -v mail &>/dev/null; then
        echo "${message}" | mail -s "Auto Remediation Alert" admin@example.com
    fi
}

# メイン処理
main() {
    log "自動修復スクリプト開始"
    
    check_disk_space
    check_memory
    check_services
    check_network
    
    log "自動修復スクリプト完了"
}

# cronで定期実行される前提
main