Board logo

标题: 写给Linux内核新手-关于Linux内核学习的误区 [打印本页]

作者: linuxarm    时间: 2007-1-11 11:31     标题: 写给Linux内核新手-关于Linux内核学习的误区

写给Linux内核新手-关于Linux内核学习的误区

  先说句正经的:其实我没资格写这篇文章,因为自己也就一两个月以来才开始有所领悟的。因此,这里与其说是关于Linux内核学习的经验,不如说是自己的教训吧,希望不要扔鸡蛋砸我^_^

   常常有人问:我想学习内核,需要什么基础吗?Linus Torvalds本人是这样回答的:你必须使用过Linux。 这个……还是有点太泛了吧,我想下面几个基础可能还是需要的,尽管不一定必需:
  1, 关于操作系统理论的最初级的知识。不需要通读并理解《操作系统概念》《现代操作系统》等巨著,但总要知道分时(time-shared)和实时(real-time)的区别是什么,进程是个什么鳎珻PU和系统总线、内存的关系(很粗略即可),等等。
  2, 关于C语言。不需要已经很精通C语言,只要能熟练编写C程序,能看懂链表、散列表等数据结构的C实现,用过gcc编译器,就可以了。当然,如果已经精通C语言显然是大占便宜的。
  3, 关于CPU的知识。这块儿可以在学习内核过程中补,但这样的话你就需要看讲解很详细的书,比方后面将会提到的《情景分析》。你是否熟悉Intel 80386 CPU?尝试着回答这几个问题来判断一下:1)说出80386的中断门和陷阱门的区别;2)说出保护模式与实模式的区别;3)多处理器机器上,普通的读-改-写回一块内存这样的动作,为什么需要特殊的手段来保护。等等。讲解基于其它CPU的Linux内核的书,目前好象只有一本《IA64Linux内核:设计与实现》──也还是Intel的,其它都是讲解基于IA32的。
  以上算是知识方面吧,如果还要再补充一条,我想就是:动手编译过内核。


  好了,我们接下来走。好多人装上Linux之后,第一件事找到内核源码所在的路径,打开一个C程序文件,开始哗哗哗翻页,看看大名鼎鼎的Linux内核代码到底长啥模样──然后关闭。这是可理解的,但却不是学习的方法。刚开始,必须从读书入手。至少要对内核有一个Overview之后,才有可能带着问题去试图阅读源代码本身。 下面就讲一下我读过的几本书:
  1, 《Linux内核设计与实现》,英文名Linux Kernel Development(所以有人叫它LKD),机械工业出版社,¥35, 美国Robert Love著,陈莉君译者。 评说:
  此书是当今首屈一指的入门最佳图书。作者是为2.6内核加入了抢占的人,对调度部分非常精通,而调度是整个系统的核心,因此本书是很权威的。这本书讲解浅显易懂,全书没有列举一条汇编语句,但是给出了整个Linux操作系统2.6内核的概观,使你能通过阅读迅速获得一个overview。而且对内核中较为混乱的部分(如下半部),它的讲解是最透彻的。对没怎么深入内核的人来说,这是强烈推荐的一本书。
   翻译:翻译水平、负责任程度都不错,但是印刷存在一些错误。买了此书的朋友可以参考我在Linux高级应用版的《Linux内核设计与实现中文版勘误》:
http://bbs.chinaunix.net/forum/viewtopic.php?t=541234
另外,此书2005年有了第二版,目前尚无中译本面世。我就是对照着2nd-en勘误1st-cn的。

  2, 《Linux内核源代码情景分析》上、下。毛德操、胡希明著,浙江大学出版社,上册¥80,下册¥70. 评说:
  本书是基于2.4.0内核的,比较早,也没听说会出第二版。上册讲解内存管理、中断、异常与系统调用、进程控制、文件系统与传统Unix IPC;下册讲解socket、设备驱动、SMP和引导。关于这套书的评价褒贬不一,我个人认为其深度是同类著作中最优秀的。本书基于Intel IA32体系,由于厚度大,很多体系上的知识都捎带讲解了,所以如果你想深入了解内核的工作机制而又不非常熟悉Intel CPU的体系构造,本书是最合适的。缺点是:版本较老,没有TCP/IP协议栈部分(它讲的socket只是Unix域协议的),图表太少,不适合初学者入门。还有就是对学生朋友来说,可能书价偏高,这样的话可以考虑先买上册,因为上册是核心部分,下册一大部分都在讲具体PCI/ISA/USB设备的驱动。
  翻译:没什么翻译,作者是国人,而且行文流畅。本人书桌上诸多计算机经典图书当中,这套是唯一又经典又无阅读障碍的。
  www.linuxforum.net内核版好多朋友已经把这书读到六七遍了,我很惭愧,上册差不多读熟了,下册就SMP部分还看过──但这就花费了整整1年的时间,还有好多弄不懂的。这里顺便说明另外一个研究内核常见的误区:目标太庞大。要知道Linux内核(最新的2.6.13)bzip2压缩之后37M,解压缩之后244M,根本不是哪个人能够吃透的。即使是内核的核心开发团队中,恐怕也只Linus Torvalds、Alan Cox、David Miller、Ingo Molnar寥寥数人会有比较全面的了解,其它人都是做自己专门的部分。 我自己来说,目前已经决定放弃内存管理的全部(slab层、LRU、rbtree等)、文件系统部分、外设驱动部分,暂时也没打算弄IA32以外的其它体系的部分。


作者: linuxarm    时间: 2007-1-11 11:31

  3, 《深入理解Linux内核》第二版。中国电力出版社。也是陈莉君译。此书是Linux内核黑客在推荐图书时的首选。 评说:
  此书C版的converse兄送了我一本第一版,因此就没买第二版,比较后悔。因此只就第一版说一说,第一版基于2.2,第二版2.4 。我见O'Reilly官方主页上说第三版的英文版将于2005年11月出版,也不知咱们何时才能见到。此书图表很多,形象地给出了关键数据结构的定义,与《情景分析》相比,本书内容紧凑,不会一个问题讲解动辄上百页,有提纲挈领的功用,但是深度上要逊于《情景分析》。

  4, 其它的几本书。市面上能见到的其它的Linux内核的图书,象《Linux设备驱动程序》、《Linux内核源代码完全注释》以及新出的《Linux内核分析及编程》等。
  《Linux设备驱动程序》第二版是基于2.4的,中文翻译不错,中国电力出版。这书强调动手实践,但它是讲解“设备驱动”的,不是最核心的东西,而且有些东西没硬件的话无法实践,可能更适合驱动开发的程序员吧,不太适合那些For fun and profit的人。此书有第三版英文版,东南大学出版社影印,讲解2.6的,行文流畅,讲解的面也比第二版更广泛,我读过其中关于同步与互斥、内存分配的部分,感觉很不错。
  《Linux内核源代码完全注释》(机械工业出版社)是同济大学的博士生赵炯的著作,讲解0.1Linux内核,我没买也没看,有看过的朋友说一说。
  《Linux内核分析及编程》(电子工业出版社)是刚刚出版的,国人写的,讲解2.6.11 。很多人说好,但有人说不够系统,我没买,不敢评说。
  还有一本清华出的《Linux内核编程指南(第三版)》,原书应该是好书,但是翻译、排版十分糟烂,脱字跳行,根本没法看,我买了一本又扔掉了。

  5, 其它资源。 TLDP(The Linux Documentation Project)有大量文档,其中不少是关于内核的,有些是在国外出版过的,象《Linux Kernel Interls》《The Linux Kernel》《Linux Kernel Module Programming Guide》等,作者都是亲身参加开发的人,著作较为可信。
Http://www.linuxforum.net
  中国Linux论坛的内核版。该版是研究内核的中文Linux社区中水平最高的,有很多专家级别的牛人,强烈推荐去学习一下(但建议不要问太过分简单的问题,人家脾气再好也会烦的^_^),它的置顶贴简直是一个包罗万象的FAQ,精华区也有很多资料。只可惜太过曲高和寡,人气不是很旺。

  6, 一本不是讲解Linux的书:《现代体系结构上的Unix系统:内核程序员的SMP和Caching技术》,人民邮电出版社2003版,定价¥39. 本书虽然不是讲解Linux,但是对所有Unix内核都是适用的,适合对SMP和CPU的Cache这些组成原理知识不是很熟的朋友,而且是很多国外牛人推荐的书。中文版翻译非常负责。


  还有个很重要的问题:怎样浏览内核源代码。有的朋友喜欢在Windows上工作,用Source Insight;有的在Linux,用Source Navigator;还有专门浏览源代码的软件,象lxr(Linux Cross Reference);还有用ctags/ectags/cscope等,这些都是很优秀的软件。我个人用Vim + ctags浏览(参考了www.linuxforum.net内核版wheelz大侠的文档,)。

  此外,前边已经提到的一个重要的问题是:你研究内核的目的是什么, 开发? 乐趣?如果是开发,而且是国内做开发,把kernel API熟悉一下就差不太多了(你也知道国内的水平有多差),比方说copy_from_user()、kmalloc()函数等,kernel API在Internet上找得到,编译内核时也可以用DocBook生成(具体请参考内核源代码包下的README文件);如果是研究,那就差别很大了,需要下很大的苦功:会用kmalloc()绝不说明你懂得Linux内核的虚存管理子系统,正如同会讲汉语不说明你懂中国文化一样。


  说完了,发现前面讲的太罗嗦了,简化一下:
  1, 动手编译内核
  2, 精读《Linux内核设计与实现》
  3, 上www.linuxforum.net内核版看置顶贴与精华区
  此外就凭自己兴趣选择吧。

下面是一篇没写完的《Linux内核模块编程入门》,不补写了,将就着看吧。

albcamus 2005-10-13 02:41


作者: linuxarm    时间: 2007-1-11 11:31

写给Linux内核新手-关于Linux内核学习的误区

Linux内核模块编程入门
看到昨天有好几个问linux内核编程问题的帖子,不少是卡在了入门问题上,就整理一下入门的初步流程。针对2.6内核的Linux系统,需要你的机器上已经安装了kernel-devel这个包,也就是编译模块所必须的东西:内核的头文件和一些Makefile。

一,Hello World程序:

  1. /*file: hello.c*/<br/>#ifndef __KERNEL__<br/>#define __KERNEL__<br/>#endif<br/>#ifndef MODULE<br/>#define MODULE<br/>#endif<br/>#include &lt;linux/init.h&gt;;<br/>#include &lt;linux/module.h&gt;;<br/>#include &lt;linux/kernel.h&gt;;</p><p>static int hello_init(void)<br/>{<br/>printk(KERN_ALERT "Hello, The fucking crazy world\n");<br/>return 0;<br/>}</p><p>static void hello_exit(void)<br/>{<br/>printk(KERN_ALERT "Bye, The fucking crazy world!\n");<br/>}</p><p>module_init(hello_init);<br/>module_exit(hello_exit);</p><p>MODULE_LICENSE("GPL");<br/>MODULE_AUTHOR("albcamus &lt;<a href="mailto:albcamus@163.com&gt;;&quot;);[/code">albcamus@163.com&gt;;");[/code</a>]</p><p>2.6内核的kbuild子系统跟2.4相比有本质的改变。我们下面尝试两种方式编译这个程序:<br/>1, 你可以在本目录下这样写一个Makefile<br/>[code]obj-m := hell.o<br/>clean:<br/>rm -rf *.o .*.cmd *.ko *.mod.c .tmp_versions
复制代码

然后用这样的命令行编译:
make -C /lib/modules/`uname -r`/build M=`pwd` modules
这时ls一下,就能看到生成了很多文件,其中hello.ko就是我们需要的内核模块。
2, 专业点儿,Makefile这样写:
  1. obj-m := hello.o<br/>KERNELBUILD := /lib/modules/`uname -r`/build<br/>default:<br/>make -C $(KERNELBUILD) M=$(shell pwd) modules<br/>clean:<br/>rm -rf *.o .*.cmd *.ko *.mod.c .tmp_versions
复制代码

然后只要make一下就可以了。

插入模块用insmod命令:
insmod ./hello.ko
这时候大家可能会问:为什么我的屏幕上没有见到输出?这个是console的日志记录级别和你printk消息时指定的级别(本例中指定为KERN_ALERT,为次高,仅次于KERN_EMERG)决定的。无论如何,你可以tail 或者cat看看系统日志的最后几行,系统日志一般为/var/log/messages,或者直接用dmesg命令,肯定能看到输出了。

二,头文件问题。
C程序员都知道,要使用某个外部的函数,应当#include某个头文件,这个头文件包含了那个函数的原型(prototype)。内核的头文件在include/下,其中include/asm是个符号链接,指向你所用内核的具体的体系结构目录,比方说我的系统是i386的,那么include/asm就指向include/asm-i386 。
内核编程中我们不能链接libc库,不能使用libc库中的函数,所以很有些麻烦。一些重要的函数,象strcpy/strcmp/snprintf等,kernel也为我们实现并导出(export)了,而我们需要#include相关的头文件,在include/linux和include/asm中,你需要自己寻找你所要使用的函数在哪个头文件中声明,并将其#include进来。


写给Linux内核新手-关于Linux内核学习的误区

说点别的
1、楼主4K太屈材了,但是中国现在这个状况没法说。我曾经去清华紫光面试,做AS400的售前/后支持「当时他们说有Unix基础就可以,不需要很了解400」,底薪4K+提成,提成完全看销售业绩,估计很大一部分工作是配合销售去把产品骗出去,技术性工作估计不多。如果销售情况好的话收入还是很可观的,但是具他们内部人说没有销售挣得多。在国内许多大公司,一群本科是什么杂7杂8专业的,后来混了个“计算机”方面的“研究生”,啥都不懂成天混的人也都随便拿上5K+

2、牛人在中国会是什么下场?牛人就是象老牛一样多干活,还不一定有草吃。去年冬天我出差去昆明部署一个我们的软件,本来我只负责技术支持,职责就是按照文档把整个系统搭建起来。临走前开发人员和测试人员拍胸匍向我发誓程序完全没有问题了,我去到那里只要安装一下即可。结果到了那里,首先是客户系统被入侵而瘫痪,费了好大劲重建了系统恢复了数据库;接着发现程序有很严重bug,花了整整一天时间我给它debug。
知道我最终的下场是什么吗?400块长途手机费不给报销,领导说按照规定每天只给报20。嗯,“按照规定”的话,发现被黑我就应该立刻打110『没必要估计客户的面子』,然后叫合作伙伴的人来装系统(系统原来是他们装的),这样就省下200块打电话请示领导、联络客户领导的手机费;“按照规定”的话,我作为非开发人员和测试人员没义务给程序debug,当我发现程序不能正常运作的时候就应该打道回府,这样就又能省下200块了
我当时所在中国非常有名的一家软件上市公司「比红旗用友什么的大得多」,在这里我就不点名了

3、“到一家实力强劲的公司(如IBM,redflag)给人家打下手”?
IBM内部的中国开发人员,只能从老美那里拿到裁减版的API手册,很多“牛人”的主要工作是汉化、debug、写文档和打包
redflag?以前曾经有一个项目需要邮件系统,看了一下redflag的邮件服务器宣传还不错,联系了一下,跟一个什么产品经理谈了谈,结果是,为了拿到项目,他们完全可以放弃linux平台把它移植到客户指定的Solaris上去,总之就是只要能中标,怎么都行!所以我看redflag需要的不是“打下手”的,需要的是能够拿到单子的sells


中国阿,就这么回事了
PS:我现在在搞linux教育培训工作,收入还凑合,感觉这个环境铜臭味道少一些,可以有一些闲暇时间和精力去搞自给喜欢的研究,而且没人管^_^


作者: caopengly    时间: 2007-1-11 13:08

QUOTE:

说点别的
1、楼主4K太屈材了,但是中国现在这个状况没法说。我曾经去清华紫光面试,做AS400的售前/后支持「当时他们说有Unix基础就可以,不需要很了解400」,底薪4K+提成,提成完全看销售业绩,估计很大一部分工作是配合销售去把产品骗出去,技术性工作估计不多。如果销售情况好的话收入还是很可观的,但是具他们内部人说没有销售挣得多。在国内许多大公司,一群本科是什么杂7杂8专业的,后来混了个“计算机”方面的“研究生”,啥都不懂成天混的人也都随便拿上5K+

2、牛人在中国会是什么下场?牛人就是象老牛一样多干活,还不一定有草吃。去年冬天我出差去昆明部署一个我们的软件,本来我只负责技术支持,职责就是按照文档把整个系统搭建起来。临走前开发人员和测试人员拍胸匍向我发誓程序完全没有问题了,我去到那里只要安装一下即可。结果到了那里,首先是客户系统被入侵而瘫痪,费了好大劲重建了系统恢复了数据库;接着发现程序有很严重bug,花了整整一天时间我给它debug。
知道我最终的下场是什么吗?400块长途手机费不给报销,领导说按照规定每天只给报20。嗯,“按照规定”的话,发现被黑我就应该立刻打110『没必要估计客户的面子』,然后叫合作伙伴的人来装系统(系统原来是他们装的),这样就省下200块打电话请示领导、联络客户领导的手机费;“按照规定”的话,我作为非开发人员和测试人员没义务给程序debug,当我发现程序不能正常运作的时候就应该打道回府,这样就又能省下200块了
我当时所在中国非常有名的一家软件上市公司「比红旗用友什么的大得多」,在这里我就不点名了

3、“到一家实力强劲的公司(如IBM,redflag)给人家打下手”?
IBM内部的中国开发人员,只能从老美那里拿到裁减版的API手册,很多“牛人”的主要工作是汉化、debug、写文档和打包
redflag?以前曾经有一个项目需要邮件系统,看了一下redflag的邮件服务器宣传还不错,联系了一下,跟一个什么产品经理谈了谈,结果是,为了拿到项目,他们完全可以放弃linux平台把它移植到客户指定的Solaris上去,总之就是只要能中标,怎么都行!所以我看redflag需要的不是“打下手”的,需要的是能够拿到单子的sells


中国阿,就这么回事了
PS:我现在在搞linux教育培训工作,收入还凑合,感觉这个环境铜臭味道少一些,可以有一些闲暇时间和精力去搞自给喜欢的研究,而且没人管^_^

权威数字:美国电子工程师年薪10万美金,日本、欧洲8万美金,印度4万美金,中国0.9969万美金。






欢迎光临 电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/) Powered by Discuz! 7.0.0