V编译器源代码

V已实现了自举，所有编译器和标准库都是V开发的，在实现自举之前，使用golang作为早期编译器的开发。

V编译器基于AST(抽象语法树)的方式来编译，源代码先生成AST，再生成目标代码(c/js/native/interpreter)，是目前各语言编译器的主流方式，好处很多：

编译器代码更清晰，更好维护
编译器再增加新东西，速度会更快
AST可以更快速地生成其他目标代码
AST可以给开发环境以及编译工具使用，更快开发对应的插件和工具

同时V编译器代码也是V标准库vlib的一部分，位于vlib/v目录中，这样的设计可以很方便地调用V编译器本身的各种功能模块，开发各种编译工具链。

代码目录

cmd - V命令行代码目录

子目录

说明

vlib/v - V编译器源代码目录

子目录

说明

thirdparty - 第三方C代码依赖库

主要编译过程

V命令行的入口文件是v/cmd/v/v.v
V命令行负责处理命令参数，创建编译器参数对象(pref.Preferences)
V命令行根据参数调用builder.compiler()开始编译，或调用tools目录中的各种工具，比如vfmt代码格式化工具
V编译器对象根据编译参数，分析得到所有需要编译的源文件数组[ ]os.File，源文件列表也包括了vlib/builtin中的内置源文件
通过调用builder.compile()方法，开始编译，首先创建代码生成器对象(builder.Builder)
通过调用代码生成器对象的b.build_c()方法，把源代码文件数组[]File中的所有V源代码文件生成C源文件
一个源代码文件对应一个语法分析器，一个语法分析器对应一个词法扫描器
代码生成器对象负责创建语法分析器对象(parser.Parser)，启动语法分析
语法分析器负责创建词法扫描器对象(scanner.Scanner)，启动词法扫描
语法分析和词法扫描实际上是同步进行，同步完成的.语法分析器对[ ]os.File进行遍历，以词法单元(token)为基本单位，进行语法分析，词法单元由词法扫描器负责扫描，识别，提供给语法分析
语法分析遍历[ ]os.File的所有源文件后，生成对应的文件语法树对象数组[ ]ast.File
语法分析器分析完[ ]File源文件后，接着对所有导入的依赖，再次进行分析，将分析结果追加到文件语法树对象数组([ ]ast.File)中
语法分析器对象分析完成后，输出[ ]ast.File给代码生成器对象，由代码生成器对象，调用指定平台的代码生成对象(gen.Gen/gen.JsGen/gen.x64Gen)来生成目标代码，目前主要是调用gen.Gen来生成C源文件
最后调用builder.cc方法，调用编译器参数指定的C编译器，将C源文件编译生成可执行文件，完成整个编译过程

简单总结整个编译过程就是: [ ]os.File => [ ]ast.File => 目标代码(c/x64/js) => 可执行文件

编译器代码量

V实现了自举，整个V编译器都是由V语言开发的，编译器加上标准库的代码量大约为15W多行代码，持续增加中.

使用scc代码统计工具的统计数据如下:

编译速度监控

V专门开发了一个工具，用来监控每一次V代码库提交，对编译速度的影响。

详细记录可以参考：https://fast.vlang.io/

编译器类

以下类图是V编译器中主要的类和枚举:

主要的调用关系是：cmd => builder.Builder => parser.Parser => scanner.Scanner

类和枚举说明:

pref.Preferences
V编译器选项类，保存着所有的编译器选项和参数
参数太多，不一一展开，列举几个主要的:
builder.Builder
代码生成器类，由V编译器负责创建
parser.Parser
语法分析器，由代码生成器负责创建
ast.table
符号表，保存着语法分析后，得到的所有变量，函数，类型等
scanner.Scanner
词法扫描器，由语法分析器负责创建，对源文件进行逐个字节进行扫描，识别出token
token.Token
词法单元类，表示词法扫描器识别出来的一个token
token.Kind
词法单元种类枚举，一共有139个可以被扫描器识别的词法单元
ast.Fn
函数类型
ast.Var
变量和常量类型
ast.Field
结构体字段类型
ast.Scope
作用域
ast.TypeSymbol
类型，描述类型的类型
ast.Type
类型引用，i32的类型别名，表示每一个类型在符号表中的唯一ID
这个i32的ID有进行位移处理，前16位保存着类型的ID信息，后16保存着类型的指针引用层级信息
原来是设计为一个TypeRef结构体的，因为在符号表等很多地方都被引用，所以把ID和指针引用层级信息合并成一个int32，性能更好，占用内存更小.
```
pub type Type int
```
ast.AccessMod
结构体字段的访问控制枚举
ast.Kind
类型的种类，包含了V语言中的所有类型种类，包括基本类型，内置类型，结构体类型等其他种类，对类型进行分类以后，就可以针对不同的种类进行不同的语法分析，语法检查
ast.TypeInfo
类型信息类，该类型是一个联合类型，作为几种特殊类型的额外信息
```
pub type TypeInfo = Array | ArrayFixed | Map | Struct | 	
MultiReturn | Alias
```
ast.Struct
结构体类型，TypeInfo联合类型的其中一种类型
作为类型信息类的其中一种类型，要描述一个完整的结构体类型所包含的信息，就是TypeSymbol中的基本字段，再加上这个结构体中的字段
ast.Array
数组类型，TypeInfo联合类型的其中一种类型
ast.ArrayFixed
固定大小数组类型，TypeInfo联合类型的其中一种类型
ast.Map
字典类型，TypeInfo联合类型的其中一种类型
ast.MultiReturn
多返回值类型，TypeInfo联合类型的其中一种类型
V语言的多返回值实际上是返回一个结构体，动态生成的结构体，就是用这个来定义
ast.Alias
类型别名，TypeInfo联合类型的其中一种类型
check.Checker
代码检查器，用于检查各种语法的合法性
gen.Gen
C源代码生成器
gen.JsGen
js源代码生成器
gen.x64.Gen
x64机器码生成器
fmt.Fmt
代码格式化器，根据文件语法树，生成格式工整的代码，然后再覆盖回未格式化的代码

AST语法树类

源代码文件经过词法扫描，语法分析后的输出就是文件语法树对象数组([ ]ast.File)

以下类图就是文件语法树中每一个节点对应的类型

类型中有2个基本的类型:Stmt语句类型和Expr表达式类型，这两个类型是联合类型，联合类型的含义就是这种类型可以是图中箭头关联的子类型的其中一种，有点像继承关系中基类的作用，但又不是

而且Expr表达式类型通过ExprStmt表达式语句类型的关联，也是Stmt语句类型的子类，这样一来，所有的语法树节点都是Stmt语句类型的子类

文件语法树中以ast.File为根节点，节点包含子节点，形成一棵完整的语法树

联合类型Stmt和Expr，对应的V源代码:

pub type TypeDecl = AliasTypeDecl | FnTypeDecl | SumTypeDecl

pub type Expr = AnonFn | ArrayInit | AsCast | Assoc | AtExpr | BoolLiteral | CTempVar |
	CallExpr | CastExpr | ChanInit | CharLiteral | Comment | ComptimeCall | ConcatExpr | EnumVal |
	FloatLiteral | Ident | IfExpr | IfGuardExpr | IndexExpr | InfixExpr | IntegerLiteral |
	Likely | LockExpr | MapInit | MatchExpr | None | OrExpr | ParExpr | PostfixExpr | PrefixExpr |
	RangeExpr | SelectExpr | SelectorExpr | SizeOf | SqlExpr | StringInterLiteral | StringLiteral |
	StructInit | Type | TypeOf | UnsafeExpr

pub type Stmt = AssertStmt | AssignStmt | Block | BranchStmt | CompFor | ConstDecl | DeferStmt |
	EnumDecl | ExprStmt | FnDecl | ForCStmt | ForInStmt | ForStmt | GlobalDecl | GoStmt |
	GotoLabel | GotoStmt | HashStmt | Import | InterfaceDecl | Module | Return | SqlStmt |
	StructDecl | TypeDecl

主要类别说明:

ast.File
文件语法树类，保存了一个v源文件的整棵语法树

ast.Scope
作用域节点，整个ast.File里也是保存了一棵作用域树，以ast.File的scope为根节点

作用域示意图:

其他语法树节点，不详细展开，参考类图

可以使用vast这个工具，从V源文件生成AST json文件，这样就可以直观地看到AST:

https://github.com/lydiandy/vast

以下仅是举例，生成的语法树JSON方式表示如下:

/main.v生成的语法树为例
{
  "path": "path/to/main.v",
  "mod": {
    //Module类型
    "name": "main",
    "path": "path/to/main.v",
    "expr": {}
  },
  "imports": [
    //[]Import类型
    { "mod": "os", "alias": "", "pos": { "line_nr": 2 } },
    { "mod": "strings", "alias": "", "pos": { "line_nr": 3 } },
    { "mod": "time", "alias": "", "pos": { "line_nr": 4 } }
  ],
  "stmts": [
    //[]Stmt联合类型
    {
      //ConstDecl常量声明
      "fields": [
        {
          "name": "pi",
          "typ": { "idx": 12, "type": "0x13244344", "nr_muls": 0 }
        },
        {
          "name": "my_const",
          "typ": { "idx": 12, "type": "0x13244344", "nr_muls": 0 }
        },
        {
          "name": "my_int_const",
          "typ": { "idx": 12, "type": "0x13244344", "nr_muls": 0 }
        }
      ],
      "exprs": [
        //[]Expr联合类型
        {
          //FloatLiteral小数字面量类型
          "val": "3.14"
        },
        {
          //StringLiteral字符串字面量类型
          "val": "my value"
        },
        {
          //IntegerLiteral整数字面量类型
          "val": 10
        }
      ]
    },
    {
      //FnDecl函数声明
      "name": "main",
      "is_pub": "true",
      "is_variadic": "false",
      "receiver": {},
      "typ": { "idx": 12, "type": "0x13244344", "nr_muls": 0 },
      "args": [
        {
          "name": "a",
          "typ": { "idx": 12, "type": "0x13244344", "nr_muls": 0 }
        },
        {
          "name": "b",
          "typ": { "idx": 12, "type": "0x13244344", "nr_muls": 0 }
        }
      ],
      "stmts": [
        //函数体语句数组,一直往下嵌套语句,就是一棵函数体的语法树
        //[]Stmt联合类型,函数体的语句

        {
          //VarDecl变量声明
          "name": "x",
          "is_mut": "true",
          "type": { "idx": 12, "type": "0x13244344", "nr_muls": 0 },
          "expr": {
            //Expr联合类型,这里是StringLiteral字符串字面量类型
            "val": "abc"
          },
          "pos": { "line_nr": "4" }
        },
        {
          //IfExpr条件语句
        }
      ]
    }
  ]
}

词法扫描 scanner

以下是扫描器扫描识别token的逻辑:

s.text: 字符串类型，就是源代码的字符串表示
s.pos: 扫描的当前字节位置
s.scan()函数: 每调用一次，就接着s.pos当前位置，继续往下扫描，识别到一个token后返回

以下是扫描器碰到每一个字节时，进行扫描和识别的顺序:

###语法分析 parser

语法分析器从p.parse_file()或者p.parse_files()开始启动

调用p.read_first_token()进行初始化后，p.tok和p.peek_tok就位，从第一个token开始分析

p.tok: 当前token
p.peek_tok: 下一个token
p.next(): 每调用一次，就调用一次扫描器的scan()，返回一个token，并将p.tok向后推进一个
p.check(token):
检查p.tok是否为指定的token
如果是就调用p.next()，将p.tok向后推进一个
如果不是就报语法错误
p.check_name() string:
检查p.tok是否为.name(标识符)的token
如果是就返回tok.lit(具体的标识名)，并调用p.next()，将p.tok向后推进一个
如果不是就报语法错误