有时候会遇到一些疑难杂症，并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累，并且有些问题涉及到的领域非常广，才能定位到问题。所以，分析问题和踩坑是非常锻炼一个人的成长和提升自我能力。如果我们有一套好的分析工具，那将是事半功倍，能够帮助大家快速定位问题，节省大家很多时间做更深入的事情。

本篇文章主要介绍各种问题定位的工具以及会结合案例分析问题。

套用5W2H方法，可以提出性能分析的几个问题

What-现象是什么样的

When-什么时候发生

Where-哪个地方发生的问题

cpu占用过高，或者使用率提不上来，你能快速定位到代码的哪块有问题吗？一般的做法可能就是通过日志等方式去确定问题。现在我们有了火焰图，能够非常清晰的发现哪个函数占用cpu过高，或者过低导致的问题。

cpu占用过高，执行中的时间通常又分为用户态时间user和系统态时间sys。

cpu过低，利用率不高。等待下一轮CPU，或者等待I/O、锁、换页等等，其状态可以细分为可执行、匿名换页、睡眠、锁、空闲等状态。

6.5 内存级别火焰图

如果线上程序出现了内存泄漏，并且只在特定的场景才会出现。这个时候我们怎么办呢？有什么好的方式和工具能快速的发现代码的问题呢？同样内存级别火焰图帮你快速分析问题的根源。

6.6 性能回退-红蓝差分火焰图

你能快速定位CPU性能回退的问题么？如果你的工作环境非常复杂且变化快速，那么使用现有的工具是来定位这类问题是很具有挑战性的。当你花掉数周时间把根因找到时，代码已经又变更了好几轮，新的性能问题又冒了出来。主要可以用到每次构建中，每次上线做对比看，如果损失严重可以立马解决修复。

通过抓取了两张普通的火焰图，然后进行对比，并对差异部分进行标色：红色表示上升，蓝色表示下降。差分火焰图是以当前（“修改后”）的profile文件作为基准，形状和大小都保持不变。因此你通过色彩的差异就能够很直观的找到差异部分，且可以看出为什么会有这样的差异。

DEMO红蓝差分火焰图：

7、案例分析7.1 接入层nginx集群异常现象

通过监控插件发现在 19点nginx集群请求流量出现大量的499，5xx状态码。并且发现机器cpu使用率升高，目前一直持续中。

通过上图发现流量并没有突增，反而下降了，跟请求流量突增没关系。

通过上图发现nginx的响应时间有增加可能跟nginx自身有关系或者跟后端upstream响应时间有关系。

通过上图发现nginx upstream 响应时间有增加，目前猜测可能后端upstream响应时间拖住nginx，导致nginx出现请求流量异常。

a)通过top观察系统指标

7.4 火焰图分析cpua)生成用户态cpu火焰图

发现代码里面有频繁的解析json操作，并且发现这个json库性能不高，占用cpu挺高。

a)分析请求流量异常，得出nginx upstream后端机器响应时间拉长

b)分析nginx进程cpu高，得出nginx内部模块代码有耗时的json解析以及内存分配回收操作

根据以上两点问题分析的结论，我们进一步深入分析。

后端upstream响应拉长，最多可能影响nginx的处理能力。但是不可能会影响nginx内部模块占用过多的cpu操作。并且当时占用cpu高的模块，是在请求的时候才会走的逻辑。不太可能是upstram后端拖住nginx，从而触发这个cpu的耗时操作。

遇到这种问题，我们优先解决已知的，并且非常明确的问题。那就是cpu高的问题。解决方式先降级关闭占用cpu过高的模块，然后进行观察。经过降级关闭该模块cpu降下来了，并且nginx请求流量也正常了。之所以会影响upstream时间拉长，因为upstream后端的服务调用的接口可能是个环路再次走回到nginx。

掌握K8s这30个知识点，轻松突破年薪30W！

10 个Linux Awk文本处理经典案例12年老司机总结的 5 条面试忠告，终身受用一根网线发起的攻击面试官：Redis监控指标有哪些？被遗忘的 10 个Linux命令，很实用！Prometheus 监控系统：30个常见问题部署一套完整的Kubernetes高可用集群

磁盘有坏道，怎么恢复磁盘数据?

磁盘能否分多次扫描?扫描磁盘突然卡住不能继续?磁盘产生坏道怎么办?如果用户使用不当，很容易出现硬盘坏道的问题，给用户造成很大的损失。磁盘出现坏道扫描硬盘卡住，我们可以跳过坏道的部分再继续扫描。如何跳过呢?失易得数据恢复针对磁盘坏道问题给出了以下方案。

登录官网下载WIN版数据恢复软件，并安装。PS：跟其他教程一样，软件不能安装到和需要恢复文件在同一个磁盘里面。

第二步：打开 失易得数据恢复，单击“深度恢复”

选中需要跳过坏道的分区，点击“下一步”

单击左下方的“深度扫描”

您的磁盘大小乘于扫描卡住的那个百分比，就是坏道的地方。跳过这个坏道在继续下去扫描。

例如：您的磁盘大小是100G，而软件扫描到10%卡住了，那就是100*10%=10G，坏道可以设置分两次扫描，第一次从1-9G扫描，跳过10G，第二次从11G-100G扫描。

可自行设置扫描区域，绿色部分为扫描区域，(只有深度恢复扫描功能有这一项功能)

通过以上的步骤就可以跳过坏道或分次扫描硬盘。