大数据运维常用操作指南

1. 引言

在大数据平台（如 Hadoop、Spark、Flink、Kafka 等）的日常运维中，掌握一系列常用操作是保障系统稳定、高效运行的基础。本文旨在梳理大数据运维工程师在日常工作中频繁使用的核心操作，涵盖集群管理、服务监控、故障排查、性能调优、数据维护等多个方面，为运维人员提供一份实用的操作手册。

2. 集群健康检查与状态查看

定期检查集群整体健康状态是运维的第一步。

• Hadoop HDFS 状态：通过 Web UI（默认端口 9870）或命令行查看 NameNode、DataNode 状态及存储使用情况。

  hdfs dfsadmin -report hdfs dfs -df -h /

• YARN 资源状态：查看 ResourceManager、NodeManager 状态及队列资源使用。

  yarn node -list yarn application -list

• 服务进程检查：确认关键服务进程是否存活。

  jps # 查看Java进程 systemctl status hadoop-hdfs-namenode systemctl status yarn-resourcemanager

3. 日志查看与监控

日志是定位问题的重要依据。

• 实时日志跟踪：使用tail -f命令实时查看服务日志。

  tail -f /var/log/hadoop-hdfs/hadoop-hdfs-namenode.log tail -f /var/log/spark/spark-worker.log

• 日志检索：使用grep快速过滤关键错误信息。

  grep -i "error\|exception" /var/log/hadoop-yarn/yarn-resourcemanager.log

• 监控指标收集：配置并查看 Prometheus + Grafana 监控面板，关注 CPU、内存、磁盘 I/O、网络流量及服务特定指标（如 HDFS 块报告延迟、YARN 容器等待时间）。

4. 数据存储与 HDFS 操作

管理分布式文件系统是核心工作之一。

• 目录与文件管理：

  hdfs dfs -ls /user/data hdfs dfs -mkdir -p /user/data/input hdfs dfs -put localfile.txt /user/data/input/ hdfs dfs -get /user/data/output/part-* ./ hdfs dfs -rm -r /user/data/temp

• 空间配额管理：为目录设置存储空间限制。

  hdfs dfsadmin -setSpaceQuota 1T /user/project

• 副本数调整：根据数据重要性调整 HDFS 文件副本数。

  hdfs dfs -setrep -w 3 /user/data/important_file.parquet

• 平衡数据分布：在新增 DataNode 后，执行均衡操作。

  hdfs balancer -threshold 10

5. 作业管理与调度

管理计算作业的生命周期。

• 提交 Spark 作业：

  spark-submit \ --master yarn \ --deploy-mode cluster \ --class com.example.WordCount \ /path/to/your-app.jar \ hdfs://input/path hdfs://output/path

• 查看与终止作业：

  yarn application -list yarn application -kill application_123456789_0001

• 调整作业优先级与资源：通过 YARN 队列配置或动态资源池调整作业资源分配。
• 定时调度：使用 Apache Airflow、Oozie 或 crontab 配置周期性数据管道任务。

6. 节点管理与维护

集群节点的扩容、缩容与故障处理。

• 新增节点：在新增主机上安装配置服务，并加入集群。
  1. 配置 hosts、SSH 免密。
  2. 同步 Hadoop/Spark 配置文件。
  3. 启动 DataNode、NodeManager 等服务。
  4. 在 NameNode 上执行hdfs dfsadmin -refreshNodes。
• 退役节点：安全下线节点，迁移数据。
  1. 将节点加入excludes文件。
  2. 执行hdfs dfsadmin -refreshNodes。
  3. 等待数据迁移完成后再停止服务。
• 节点故障处理：检查硬件、网络、服务日志，重启或替换故障节点。

7. 安全与权限管理

保障数据访问安全。

• Kerberos 认证：为 Hadoop 集群启用 Kerberos，定期更新 keytab。

  kinit -kt /etc/security/keytabs/hdfs.keytab hdfs/$(hostname)

• HDFS 权限控制：使用类似 Linux 的 POSIX 权限模型。

  hdfs dfs -chmod -R 750 /user/secret hdfs dfs -chown -R datauser:datagroup /user/data

• Apache Ranger/Sentry 策略管理：通过 Web UI 或 API 管理基于角色的细粒度访问控制（RBAC）。

8. 备份与恢复

制定并执行数据备份策略。

• HDFS 快照：为关键目录创建快照，实现快速回滚。

  hdfs dfsadmin -allowSnapshot /user/important_data hdfs dfs -createSnapshot /user/important_data snapshot_20240707

• 跨集群数据同步：使用 DistCp 工具进行集群间数据复制。

  hadoop distcp hdfs://nn1:8020/source hdfs://nn2:8020/destination

• 元数据备份：定期备份 HDFS NameNode 元数据（fsimage, edits）及 Hive Metastore 数据库。

9. 性能调优与问题排查

针对瓶颈进行优化。

• 常见性能问题：
  • 数据倾斜：检查作业的 Reduce 阶段耗时，使用skew join或增加 Reduce 任务数。
  • GC 频繁：调整 JVM 堆大小及 GC 参数。
  • 磁盘 I/O 瓶颈：检查 DataNode 磁盘健康状态，考虑使用 SSD 或增加磁盘。
• 调优命令示例：

  # 查看HDFS文件系统状态，检查是否接近容量上限 hdfs dfsadmin -report | grep -A5 "Configured Capacity" 查看YARN队列资源使用情况 yarn queue -status default

10. 总结

大数据运维是一个涵盖面广、需要持续学习的领域。熟练掌握上述常用操作，能够帮助运维人员高效地管理集群、保障数据安全与服务质量。建议结合具体平台（如 CDH、HDP、开源版本）的官方文档和最佳实践，不断积累经验，并建立完善的监控告警与自动化运维体系，以应对日益复杂的大数据环境挑战。