一、什么是commonJs?
javascript是一个面向对象的脚本语言,但是官方定义的标准 javascript API 是面向于浏览器端,构建浏览器端应用程序。
commonJS 诞生的目标是建立Web服务器,桌面和命令行应用程序以及浏览器中的JavaScript生态系统。CommonJS API定义很多普通应用程序(主要指非浏览器的应用)使用的API,从而填补了这个空白。它的终极目标是提供一个类似Python,Ruby和Java标 准库。这样的话,开发者可以使用CommonJS API编写应用程序,然后这些应用可以运行在不同的JavaScript解释器和不同的主机环境中。在兼容CommonJS的系统中,你可以使用 JavaScript程序开发:服务器端JavaScript应用程序命令行工具图形界面应用程序混合应用程序(如,Titanium或Adobe AIR)。[1]从CommonJS的官网来看,CommonJS本质上就是一个规范,它并不提供默认实现,而是要求一些JavaScript库、框架、环境……去实现它的这些API定义。
二、commonJS 目前正在讨论/标准化清单 API
- Uniform Baseline / Globals (discussion)- Modules (1.1.1) - binary: Binary Data Objects (byte arrays and/or strings) (proposals, discussion, early implementations) - encodings: Encodings and character sets (proposals, discussion, early implementations) - io: I/O Streams (proposals, discussion) - fs, fs-base: Filesystem (proposals, discussion, early implementations) - system: System Interface (stdin, stdout, stderr, &c) (1.0, amendments proposed) - assert, test: Unit Testing (1.0, amendment proposals pending) - sockets: Socket I/O TCP/IP sockets (early proposals) - event-queue: Reactor Reactor/Event Queue (early proposals) - worker: Worker Worker (concurrent shared nothing process/thread) (proposal) - console: console (proposal)- Packages (1.0)- Package Mappings (proposal)- Web Server Gateway Interface (JSGI) (proposals, discussion, early implementations)- Promises (proposal)- Pending Business / Calls for Action / Status Report
以上罗列出来的API定义 —— 涉及到二进制、编码、IO、文件、系统、断言测试、套接字、事件队列、Worker、控制台等等实现,恰恰弥补的传统JavaScript的空白。
三、node.js 所实现的commonJS规范
就以Node.js为例,它实现了CommonJS的如下子规范:
- Modules/1.0 (yes)- Promises/B (http://github.com/kriskowal/q)- Promises/D (https://github.com/kriskowal/q)- Unit Testing/1.0 (yes)
四、commonJS 模块机制规范
由于Node.js 模块是根据commonJs的modules API 规范实现的。那么这里将以node.js的模块机制来讲解commonJS 模块规范。
根据这个规范,每个文件就是一个模块,它有自己的作用域(不会污染全局作用域)。在文件里面定义的变量、函数、类,都是这个模块的私有的,对外不可见。
CommonJS规范规定,每个模块内部,module变量代表当前模块。这个变量是一个对象,它的exports属性(即module.exports)是对外的接口。加载某个模块,其实是加载该模块的module.exports属性。
var x = 5;var addX = function (value) { return value + x;};module.exports.x = x;module.exports.addX = addX;
上面代码通过module.exports输出变量x和函数addX。
require方法用于加载模块。
var example = require('./example.js');console.log(example.x); // 5console.log(example.addX(1)); // 6
1.commonJS模块规范特点如下:
1.根据这个规范,每个文件就是一个模块,它有自己的作用域(不会污染全局作用域)。在文件里面定义的变量、函数、类,都是这个模块的私有的,对外不可见。2.模块加载顺序,按照代码执行顺序。也就是说,是同步加载的。3.模块可以重复加载,但是会在加载第一次的时候,就将该模块缓存起来,后面再次加载将从缓存中获取该模块。(注意:如果要重新加载模块,需要清空缓存)
2.module对象
在node.js 中,内部提供了一个Modlue构造函数,所有的模块都是这个构造函数的实例。function Modlue(id,parent){ this.id = id; this.exports = {}; this.filename= null; this.parent = parent; this.loaded = false; this.children = [];}
在每个模块里面,都有一个module实例
module.id // 模块的标示符,通常是带有的绝对路径的文件名。 module.filename // 带有的绝对路径的文件名。 module.parent // 返回一个对象,表示调用该模块的模块 module.children // 返回一个数组对象,表示该模块调用的其他模块 module.loaded // 返回一个boolean值,表示模块是否已经加载完成。 module.exports // 返回一个对像,表示模块对外输出的值
下面是一个示例文件,最后一行输出module变量。
// example.jsvar jquery = require('jquery');exports.$ = jquery;console.log(module);
执行这个文件,命令行会输出如下信息。
{ id: '.', exports: { '$': [Function] }, parent: null, filename: '/path/to/example.js', loaded: false, children: [ { id: '/path/to/node_modules/jquery/dist/jquery.js', exports: [Function], parent: [Circular], filename: '/path/to/node_modules/jquery/dist/jquery.js', loaded: true, children: [], paths: [Object] } ], paths: [ '/home/user/deleted/node_modules', '/home/user/node_modules', '/home/node_modules', '/node_modules' ]}
2.1模块包装器
在执行模块代码之前,Node.js 会使用一个如下的函数包装器将其包装:
(function(exports, require, module, __filename, __dirname) {
// 模块的代码实际上在这里});通过这样做,Node.js 实现了以下几点:
它保持了顶层的变量(用 var、const 或 let 定义)作用在模块范围内,而不是全局对象。 (其实就是用闭包,使模块里定义的变量或函数有自己的作用域,避免全集作用域污染。而且模块里面的变量,函数,类都是私有的,对外不可见,需要对外公开的接口,可以赋值给module.exports属性或exprots变量)
-
它有助于提供一些看似全局的但实际上是模块特定的变量,例如:
实现者可以使用 module 和 exports 对象从模块中导出值。
快捷变量 __filename 和 __dirname 包含模块的绝对文件名和目录路径。
2.2 module.exports 属性
module.exports 属性是模块对外输出的接口,其他文件加载该模块,其实就是读取module.exports 属性。var EventEmitter = require('events').EventEmitter;module.exports = new EventEmitter();setTimeout(function() { module.exports.emit('ready');}, 1000);
上面模块会在加载后1秒后,发出ready事件。其他文件监听该事件,可以写成下面这样。
var a = require('./a');a.on('ready', function() { console.log('module a is ready');});
2.3 exports 变量
为了方便,node在每个模块里提供了了一个exports 变量,指向module.exports。
这等同在每个模块头部,有一行这样的命令。
var exports = module.exports;
由于exports变量是module .exports的引用,在对外输出模块接口时,可以通过exports对象添加方法/变量来拓展对外输出模块接口的属性内容。
exports.readFile = function(){// 读取文件操作};exports.add = function(num,num2){ return num +num2}//等同于module.exports.readFile = function(){}module.exports.add = function(num,num2){...}
通过上述所说,node.js 内部的 Module构造器,可以知道,module.exports 初始化是一个{} object对象作为该模块的唯一对外输出接口。所以我门需要注意以下两种情况:
1.不能直接将exports变量指向一个值,因为这样等于切断了exports与module.exports的联系。
exports = function(x) {console.log(x)};
上面这样的写法是无效的,因为exports不再指向module.exports了。(require()加载模块,输出的是module.exports这个对象)
2.下面的写法也是无效的。
exports.hello = function() { return 'hello';};module.exports = 'Hello world';
上面代码中,hello函数是无法对外输出的,因为module.exports被重新赋值了。
这意味着,如果一个模块的对外接口,就是一个单一的值,不能使用exports输出,只能使用module.exports输出。
module.exports = function (x){ console.log(x);};
如果你觉得,exports与module.exports之间的区别很难分清,一个简单的处理方法,就是放弃使用exports,只使用module.exports。
2.4 CommonJS 的模块加载机制
commonJS的模块加载机制是——commonJS输出的是被输出的值的拷贝。也就是说如果一旦输出是一个值,模块内部的变化就影响不了这个值。
看一个例子:
// lib.jsvar counter = 3;function incCounter() { counter++;}module.exports = { counter: counter, incCounter: incCounter,};
上面代码输出内部变量counter和改写这个变量的内部方法incCounter。然后,在main.js里面加载这个模块。
// main.jsvar mod = require('./lib');console.log(mod.counter); // 3mod.incCounter();console.log(mod.counter); // 3
上面代码说明,lib.js模块加载以后,它的内部变化就影响不到输出的mod.counter了。这是因为mod.counter是一个原始类型的值,会被缓存。除非写成一个函数,才能得到内部变动后的值。
// lib.jsvar counter = 3;function incCounter() { counter++;}module.exports = { get counter() { return counter }, incCounter: incCounter,};
上面代码中,输出的counter属性实际上是一个取值器函数。现在再执行main.js,就可以正确读取内部变量counter的变动了。
一、require() 的基本用法
分析源码之前,先介绍 require 语句的内部逻辑。如果你只想了解 require 的用法,只看这一段就够了。下面的内容翻译自《Node使用手册》。当 Node 遇到 require(X) 时,按下面的顺序处理。
(1)如果 X 是内置模块(比如 require('http')) a. 返回该模块。 b. 不再继续执行。(2)如果 X 以 "./" 或者 "/" 或者 "../" 开头 a. 根据 X 所在的父模块,确定 X 的绝对路径。 b. 将 X 当成文件,依次查找下面文件,只要其中有一个存在,就返回该文件,不再继续执行。- X- X.js- X.json- X.node c. 将 X 当成目录,依次查找下面文件,只要其中有一个存在,就返回该文件,不再继续执行。- X/package.json(main字段)- X/index.js- X/index.json- X/index.node(3)如果 X 不带路径 a. 根据 X 所在的父模块,确定 X 可能的安装目录。 b. 依次在每个目录中,将 X 当成文件名或目录名加载。(4) 抛出 "not found"
请看一个例子。
当前脚本文件 /home/ry/projects/foo.js 执行了 require('bar') ,这属于上面的第三种情况。Node 内部运行过程如下。首先,确定 x 的绝对路径可能是下面这些位置,依次搜索每一个目录。/home/ry/projects/node_modules/bar/home/ry/node_modules/bar/home/node_modules/bar/node_modules/bar
搜索时,Node 先将 bar 当成文件名,依次尝试加载下面这些文件,只要有一个成功就返回。
barbar.jsbar.jsonbar.node
如果都不成功,说明 bar 可能是目录名,于是依次尝试加载下面这些文件。
bar/package.json(main字段)bar/index.jsbar/index.jsonbar/index.node
如果在所有目录中,都无法找到 bar 对应的文件或目录,就抛出一个错误。
三、模块实例的 require 方法
每个模块实例都有一个 require 方法。Module.prototype.require = function(path) { return Module._load(path, this);};
由此可知,require 并不是全局性命令,而是每个模块提供的一个内部方法,也就是说,只有在模块内部才能使用 require 命令(唯一的例外是 REPL 环境)。另外,require 其实内部调用 Module._load 方法。
下面来看 Module._load 的源码。Module._load = function(request, parent, isMain) {
// 计算绝对路径
var filename = Module._resolveFilename(request, parent);// 第一步:如果有缓存,取出缓存
var cachedModule = Module._cache[filename]; if (cachedModule) {return cachedModule.exports;
// 第二步:是否为内置模块
if (NativeModule.exists(filename)) {return NativeModule.require(filename);
}
// 第三步:生成模块实例,存入缓存
var module = new Module(filename, parent); Module._cache[filename] = module;// 第四步:加载模块
try {module.load(filename);hadException = false;
} finally {
if (hadException) { delete Module._cache[filename];}
}
// 第五步:输出模块的exports属性
return module.exports;};上面代码中,首先解析出模块的绝对路径(filename),以它作为模块的识别符。然后,如果模块已经在缓存中,就从缓存取出;如果不在缓存中,就加载模块。
因此,Module._load 的关键步骤是两个。Module._resolveFilename() :确定模块的绝对路径
module.load():加载模块
四、模块的绝对路径
下面是 Module._resolveFilename 方法的源码。
Module._resolveFilename = function(request, parent) {
// 第一步:如果是内置模块,不含路径返回
if (NativeModule.exists(request)) {return request;
}
// 第二步:确定所有可能的路径
var resolvedModule = Module._resolveLookupPaths(request, parent); var id = resolvedModule[0]; var paths = resolvedModule[1];// 第三步:确定哪一个路径为真
var filename = Module._findPath(request, paths); if (!filename) {var err = new Error("Cannot find module '" + request + "'");err.code = 'MODULE_NOT_FOUND';throw err;
}
return filename;};上面代码中,在 Module.resolveFilename 方法内部,又调用了两个方法 Module.resolveLookupPaths() 和 Module._findPath() ,前者用来列出可能的路径,后者用来确认哪一个路径为真。
为了简洁起见,这里只给出 Module._resolveLookupPaths() 的运行结果。
[ '/home/ruanyf/tmp/node_modules',
'/home/ruanyf/node_modules','/home/node_modules','/node_modules''/home/ruanyf/.node_modules','/home/ruanyf/.node_libraries','$Prefix/lib/node' ]
上面的数组,就是模块所有可能的路径。基本上是,从当前路径开始一级级向上寻找 node_modules 子目录。最后那三个路径,主要是为了历史原因保持兼容,实际上已经很少用了。
有了可能的路径以后,下面就是 Module._findPath() 的源码,用来确定到底哪一个是正确路径。
Module._findPath = function(request, paths) {// 列出所有可能的后缀名:.js,.json, .node var exts = Object.keys(Module._extensions);// 如果是绝对路径,就不再搜索 if (request.charAt(0) === '/') { paths = ['']; }// 是否有后缀的目录斜杠 var trailingSlash = (request.slice(-1) === '/');// 第一步:如果当前路径已在缓存中,就直接返回缓存 var cacheKey = JSON.stringify({request: request, paths: paths}); if (Module._pathCache[cacheKey]) { return Module._pathCache[cacheKey]; }// 第二步:依次遍历所有路径 for (var i = 0, PL = paths.length; i < PL; i++) { var basePath = path.resolve(paths[i], request); var filename; if (!trailingSlash) { // 第三步:是否存在该模块文件 filename = tryFile(basePath); if (!filename && !trailingSlash) { // 第四步:该模块文件加上后缀名,是否存在 filename = tryExtensions(basePath, exts); } } // 第五步:目录中是否存在 package.json if (!filename) { filename = tryPackage(basePath, exts); } if (!filename) { // 第六步:是否存在目录名 + index + 后缀名 filename = tryExtensions(path.resolve(basePath, 'index'), exts); } // 第七步:将找到的文件路径存入返回缓存,然后返回 if (filename) { Module._pathCache[cacheKey] = filename; return filename; } }// 第八步:没有找到文件,返回false return false;};
经过上面代码,就可以找到模块的绝对路径了。
有时在项目代码中,需要调用模块的绝对路径,那么除了 module.filename ,Node 还提供一个 require.resolve 方法,供外部调用,用于从模块名取到绝对路径。require.resolve = function(request) { return Module._resolveFilename(request, self);};// 用法require.resolve('a.js')// 返回 /home/ruanyf/tmp/a.js
五、加载模块
有了模块的绝对路径,就可以加载该模块了。下面是 module.load 方法的源码。
Module.prototype.load = function(filename) {
var extension = path.extname(filename) || '.js'; if (!Module._extensions[extension]) extension = '.js'; Module._extensionsextension; this.loaded = true;};上面代码中,首先确定模块的后缀名,不同的后缀名对应不同的加载方法。下面是 .js 和 .json 后缀名对应的处理方法。
Module._extensions['.js'] = function(module, filename) {
var content = fs.readFileSync(filename, 'utf8'); module._compile(stripBOM(content), filename);};Module._extensions['.json'] = function(module, filename) {
var content = fs.readFileSync(filename, 'utf8'); try {module.exports = JSON.parse(stripBOM(content));
} catch (err) {
err.message = filename + ': ' + err.message;throw err;
}
};这里只讨论 js 文件的加载。首先,将模块文件读取成字符串,然后剥离 utf8 编码特有的BOM文件头,最后编译该模块。
module._compile 方法用于模块的编译。
Module.prototype._compile = function(content, filename) {
var self = this; var args = [self.exports, require, self, filename, dirname]; return compiledWrapper.apply(self.exports, args);};上面的代码基本等同于下面的形式。
(function (exports, require, module, __filename, __dirname) {
// 模块源码});也就是说,模块的加载实质上就是,注入exports、require、module三个全局变量,然后执行模块的源码,然后将模块的 exports 变量的值输出。