当前位置: 首页 > GNU/Linux系统, 我的研究 > 正文

记一次由PCI BAR配置不正确引发的硬盘IO调度io_schedule阻塞的经历

五一前,接到一个bug,大意是说设备接固态硬盘时跑新内核会出现卡死导致WDT复位,使用旧内核没问题。新内核是去年年底别人编译的,旧内核是3年前现在已离职2年的人编译的,现在安排我解决这个问题。但其时正在进行其他部门的紧急测试任务,于是请求节后解决。我最近的计划是学习以太网驱动,而五一没什么计划就去看了,本来想研究SCSI的,但先等查问题后再说吧。

一、问题定位

从信息分析,内核启动后在打印下面语句卡住了。

SCSI device sda: drive cache: write back sda:

我一直以为sda: sda1 sda2这种信息连着在一个函数里打印的,结果不是。跟踪代码后,发现SCSI太庞大了,一步一步跟踪。这个过程有点了解硬盘的驱动流程的东西。之后定位到check_partition函数有sda,然后卡死,缩小范围。该函数调用ldm_validate_privheads和msdos_partition,一开始以为是不支持ldm,直接使用msdos_partition,不过还是卡死。之后定位到read_cache_page,再定位到lock_page函数,该函数顾名思义,就是锁页,我将page的flags打印出现对比宏定义,发现是PG_locked。我甚至以为在此之前已经锁住了,所以一直在等待释放。但却不是。最终确认在io_schedule函数阻塞了。由此判断,内核读硬盘分区出现了问题。

二、问题解决

经本人掐指一算,并请教西池侠客,最终将bug成功指向PCI bar寄存器配置。不要问为什么,我能从VLC播放设备RTSP视频卡顿算到以太网暂停帧,也能从SCSI的IO调度阻塞算到PCI配置问题。

三、额外学习

1、sd初始化

sd_probe --> sd_revalidate_disk --> sd_read_capacity // 读硬盘大小 --> sd_read_cache_type // 打印SCSI device sda: drive cache: write back --> add_disk --> register_disk --> blk_register_queue --> 打印Attached scsi disk sda at scsi0, channel 0, id 0, lun 0 printk(KERN_NOTICE "Attached scsi %sdisk %s at scsi%d, channel %d, " "id %d, lun %d\n", sdp->removable ? "removable " : "", gd->disk_name, sdp->host->host_no, sdp->channel, sdp->id, sdp->lun);

2、打印磁盘

register_disk --> blkdev_get -> do_open -> rescan_partitions ->调用fops->revalidate_disk -> check_partition -> 打印硬盘(sda) printk(KERN_INFO " %s:", state->name);

进入分区调用,msdos_partition,该函数调用put_partition打印sda1、sda2等。

3、打印磁盘设备型号

scsi_probe_and_add_lun --> scsi_probe_lun -->scsi_add_lun --> print_inquiry // print_inquiry 打印: Vendor: ATA Model: XXXXXX Rev: XXXX Type: Direct-Access ANSI SCSI revision: 05

4、io_schedule跟踪

read_cache_page - __read_cache_page // ok - mark_page_accessed // ok - lock_page // time out --> __lock_page --> __wait_on_bit_lock && sync_page sync_page ->io_schedule -> atomic_inc -> schedule --> schedule(调用__schedule) 此处阻塞 -> atomic_dec

套用最近发生的事件的话:我在内核方面还需要多加改进。

PS:
在解决过程中,一如既往地花很多时间找设备、串口接口(同时还要进行其它事务),向公司层面请求概要设计等资料,最终还是没得到,因为年隔多年,已然不在。

李迟,2015.5.8 周五 中午

本文固定链接: http://www.latelee.org/using-gnu-linux/scsi-blocking-io_schedule.html

目前暂无评论

发表评论

*

快捷键:Ctrl+Enter