fpga-pynq/README.md

# Rocket Chip在ZYNQ上的实现

该仓库包含在Vivado 2016.2上的各种Zynq FPGA开发板（Zybo，Zedboard，ZC706，PYNQ-z2）上运行RISC-V rocket chip所需的文件。 （注：因为Vivado版本问题，推荐使用Ubuntu16.04操作系统）

### 如何使用该README：

该README主要包含4部分：

[0 - 前言](#foreword)：简单介绍该工程的原理。

[1 - 快速开始](#quickinst)：使用编译好的文件极速上手，无需下载各种工具，在windows操作系统上即可完成。如果您只是想用该系统测试RISC-V程序或者验证该系统的功能，就不必进行以下步骤。如果您需要修改rocket-chip RISC-V核、修改FPGA电路结构或者修改ARM linux内核配置等等，那么以下步骤有助于熟悉一整套工作流程。

[2 - RISC-V工具链（riscv-tools）编译](#toolchain)：安装RISC-V工具链，用于编译rocket chip生成RISC-V核。

[3 - 工程编译的详细步骤](#compile)：从头开始一步步编译整个工程。

[附录](#appendices)：主机和开发板传输文件的方法。

注：以下的`$REPO`均代表`fpga-pynq`仓库所在的本地目录，建议执行以下命令将REPO加入环境变量（替换仓库在本地的目录）：

```
$ export REPO=仓库在本地的目录
```

## 目录

+ [0 - 前言](#foreword)
+ [1 - 快速开始](#quickinst)
+ [2 - RISCV工具链（riscv-tools）编译](#toolchain)
+ [3 - 工程编译的详细步骤](#compile)
  + [创建工程](#setup)
  + [生成比特流文件](#bitstream)
  + [编译FSBL](#fsbl)
  + [编译u-boot](#u-boot)
  + [Building u-boot for the Zynq ARM Core](#u-boot)
  + [创建boot.bin](#boot.bin)
  + [编译zynq ARM的linux内核](#arm-linux)
  + [生成设备树文件](#arm-dtb)
  + [启动](#booting)
+ [附录](#appendices)
+ [说明](#note)

## 0)<a name="foreword"></a> 前言

#### 1）Zynq相关的基础知识：

Zynq-7000系列基于赛灵思SoC架构，在一个芯片上集成了双核或单核ARM Cortex A9的处理系统（PS）和赛灵思可编程逻辑（PL）。

##### 1.1）Zynq的一般启动流程（此处仅介绍非安全模式、不用JTAG的启动方式）：

1.1.1）由于刚刚上电，Zynq的PL部分没有被初始化，所以首先要启动PS端的ARM核，执行BootROM代码。ARM核内部的BootROM存储第0阶段启动代码，这段代码的功能是配置一个ARM核并从其中一个启动设备（NAND、NOR、SD flash）中加载FSBL（First Stage Bootloader）到片上内存（OCM：on-chip memory），加载到片上内存的FSBL的大小在192KB以内。

1.1.2）然后执行FSBL。FSBL的功能是：对PS的外设初始化；如果提供了PL部分的bitstream，会用它初始化PL部分；加载第二阶段BootLoader或者裸机应用程序到DDR内存中；然后跳转到DDR内存中执行。（在该工程中，FSBL烧写bitstream、加载u-boot、跳转到u-boot执行）

1.1.3）然后执行u-boot代码，将linux内核、文件系统、设备树加载到内存中，启动linux操作系统。

##### 1.2）Zynq bitstream的本地烧写方法：

1.2.1）通过FSBL烧写bitstream，前面已经介绍。（该工程采用此种方式）

1.2.2）通过u-boot烧写bitstream，将bitstream加载到内存中，然后使用fpga loadb对PL进行编程，例如：

```
U-Boot> fatload mmc 0 0x4000000 bitstream.bit
U-Boot> fpga loadb 0 0x4000000 <bitstream file size>
```

1.2.3）通过linux烧写bitstream，启动Linux后，将bitstream文件写入devcfg设备即可对PL进行编程，例如：

```
$cat bitstream.bit > /dev/xdevcfg
```

#### 2）Rocket chip

Rocket Chip是基于Chisel开发的一款开源SoC生成器，它包含了由RISC-V core，cache以及互连（interconnect）等构成的模块库，以此为基础构成一个完整的SoC，并可以生成可综合的RTL代码。

#### 3）前端服务器（FESVR : Front-End Server）：

FESVR是一个C ++库，用于管理主机和rocket chip之间的通信。为了调试，它提供了一个简单的API来复位，发送数据以及在rocket chip上加载、运行程序。 具体来说，FESVR使用主机目标接口（HTIF）（一种通信协议）与rocket chip通信。HTIF是一种非标准的伯克利协议，它使用FIFO非阻塞接口进行通信。可以使用HTIF协议读、写rocket chip的内存，加载、启动、停止程序等等。  

#### 4）RISCV代理内核（RISCV-PK）：

RISC-V代理内核是一个运行在RISC-V端的轻量级应用程序执行环境，可以运行静态链接的RISC-V ELF二进制文件。它将与IO相关的系统调用代理到主机（在本工程中指的是ARM端的linux系统）来处理。

#### 5）该工程执行RISC-V程序的原理：

内存分配：pynq-z2开发板有512MB DDR3内存，其中一半（256MB）分配给ARM的linux使用，一半分配给rocket chip使用。

启动ARM linux之后，通过运行在linux上的前端服务器加载代理内核（pk）和可执行程序（hello）到rocket chip的内存中，加载完后前端服务器发送复位信号给rocket chip，启动代理内核，然后代理内核执行hello程序，将hello程序与IO相关的系统调用（主要是终端打印）代理到主机处理，hello程序执行完后，代理内核发送信号通知前端服务器结束执行。

1)<a name="quickinst"></a> 快速开始
------------------

*用预先编译好的镜像，运行hello world程序在rocket chip上 (注：此环节无需安装任何工具)*

1）点击[fpga-pynq](https://gitee.com/huozf123/fpga-pynq)打开该仓库主页，然后依次点击*克隆/下载 -> 下载ZIP*，将该仓库文件（不带子模块）下载到本地，然后解压该文件。

2）格式化SD卡，文件系统格式为FAT32，将`$REPO/pynq-z2/fpga-images-pynq`目录下的四个文件拷贝至SD卡。
3）弹出SD卡，将其插入开发板，将开发板的启动跳线设置为“SD”，然后打开开发板的电源。 使用网线连接电脑和开发板，打开电脑终端用SSH登录ARM端的linux系统（用户名密码均为*root*），并在rocket chip上运行hello程序： 

    $ ssh root@192.168.1.5
    root@zynq:~# ./fesvr-zynq pk hello
    hello!

注：这一步需要提前将电脑有线网卡IP地址设置为192.168.1.*（0<\*<256且不为5），即和192.168.1.5同一网段且不为192.168.1.5，子网掩码设置为255.255.255.0。

## 2)<a name="toolchain"></a> RISCV工具链（riscv-tools）编译

1）克隆整个工程到本地：

为了方便大家快速获取源码，已将全部源码（包括子模块）打包上传到百度网盘，可以直接下载。（注：网盘中的工程版本不是最新版本，少量最新的改动可能没有包含进来，可以直接从gitee手动下载zip然后把新文件放进去即可）

```
链接：https://pan.baidu.com/s/1mTCcKG0EiFdxq4C5HTey3w 
提取码：1234 
```

```
$ cat fpga-pynq.0* > fpga-pynq.tar.gz     #组装文件
$ md5sum  fpga-pynq.tar.gz > md5   #计算MD5校验码
$ cmp md5 md5sum    #比对校验码，如果此处没有任何输出，则为正确
$ tar -zxvf fpga-pynq.tar.gz    #解压文件
```

或者从github获取源码：

```
$ git clone https://github.com/huozf123/fpga-pynq.git
$ cd fpga-pynq
$ git submodule update --init --recursive    #快速开始不需要执行该指令，自己编译工程才需要
```

（注：如果机器上已经有编译好的工具链，则只需将其加入环境变量即可，这一步可以跳过）

2）安装依赖：

```
$ sudo apt-get install autoconf automake autotools-dev curl libmpc-dev libmpfr-dev libgmp-dev libusb-1.0-0-dev gawk build-essential bison flex texinfo gperf libtool patchutils bc zlib1g-dev device-tree-compiler pkg-config libexpat-dev
```

3）编译工具链，此处需要指定工具链要安装的目标路径（绝对路径）：

（注：此处需要GCC版本>=4.8，详情请参照[README](https://github.com/riscv/riscv-tools#readme)。）

```
$ export RISCV=工具链要安装的目的路径
$ export PATH=${RISCV}/bin:$PATH
$ cd $REPO/rocket-chip/riscv-tools/
$ ./build.sh
```

3)<a name="compile"></a> 工程编译的详细步骤
-------------------------

*前提：安装好的Vivado 2016.2 ，一个可以运行scala代码的JVM（注：测试使用的java版本为1.8.0_271，如果编译rocket chip过程中遇到java错误，可能是java版本的原因）*

首先添加Vivado相关的环境变量，执行（替换掉“你的vivado安装目录”）：

```
$ source 你的vivado安装目录/Vivado/2016.2/settings64.sh
$ source 你的vivado安装目录/SDK/2016.2/settings64.sh 
```

因为Vivado、SDK存在bug，所以需要执行以下命令（替换“你的vivado安装目录”）：

```
$ sudo apt-get install libgoogle-perftools-dev
$ export SWT_GTK3=0
$ sudo sed -i "11,15s/^/#/" 你的vivado安装目录/Vivado/2016.2/.settings64-Vivado.sh    #注释该文件第11-15行
```

然后初始化子模块，执行：

    $ cd $REPO/pynq-z2/
    $ make init-submodules

### 3.1) <a name="setup"></a> 创建工程

首先，执行如下命令生成工程。 （注：运行期间请保持网络畅通）

	$ cd $REPO/pynq-z2/
	$ make project

### 3.2) <a name="bitstream"></a> 生成比特流文件

然后，我们通过如下命令打开vivado:

	$ make vivado

然后点击左下角的*Generate Bitstream*按钮， Vivado将自动生成比特流文件。该文件位置为：

`$REPO/pynq-z2/pynq_rocketchip_ZynqFPGAConfig/pynq_rocketchip_ZynqFPGAConfig.runs/impl_1/rocketchip_wrapper.bit`

下一步，点击*File -> Export -> Export Hardware*。这将创建以下目录：

`$REPO/pynq-z2/pynq_rocketchip_ZynqFPGAConfig/pynq_rocketchip_ZynqFPGAConfig.sdk`

该目录包含的各种文件向SDK提供有关硬件的信息。


### 3.3) <a name="fsbl"></a> 编译FSBL

在Vivado界面点击*File -> Launch SDK* 打开SDK：

1) 点击 *File -> New -> Application Project*

2) 在弹出的新窗口中，输入FSBL作为Project name，其他项保持默认：

3) 点击*Next*，然后依次点击*Zynq FSBL* 和*Finish*。然后SDK将继续自动编译FSBL。

4) 编译完成后，继续下一步。

### 3.4) <a name="u-boot"></a> 编译u-boot

打开一个新的终端，进入目标开发板的目录，执行如下命令：

	$ source 你的vivado安装目录/Vivado/2016.2/settings64.sh
	$ source 你的vivado安装目录/SDK/2016.2/settings64.sh 
	$ export REPO=repo在本地的目录
	$ cd $REPO/pynq-z2/
	$ make arm-uboot

编译好的u-boot所在位置为：`$REPO/pynq-z2/soft_build/u-boot.elf`。

### 3.5) <a name="boot.bin"></a> 创建boot.bin

回到SDK界面，点击 *Xilinx Tools -> Create Zynq Boot Image*。

1) 点击*Output BIF file path*后面的*Browse..*,然后找到并选择`$REPO/pynq-z2/deliver_output`。

2) 点击右下角的*Add*，并在弹出的对话框中点击*Browse*，找到如下文件（First Stage BootLoader）：

`$REPO/pynq-z2/pynq_rocketchip_ZynqFPGAConfig/pynq_rocketchip_ZynqFPGAConfig.sdk/FSBL/Debug/FSBL.elf`

*Partition type*选择bootloader，然后点击*OK*。

3) 再一次点击 *Add*，并在弹出的对话框中点击*Browse*，找到如下文件（bitstream）：

`$REPO/pynq-z2/pynq_rocketchip_ZynqFPGAConfig/pynq_rocketchip_ZynqFPGAConfig.runs/impl_1/rocketchip_wrapper.bit`

*Partition type* 选择datafile，然后点击*OK*。

4)  再一次点击 *Add*，并在弹出的对话框中点击*Browse*，找到如下文件（uboot）：

`$REPO/pynq-z2/soft_build/u-boot.elf`

*Partition type* 选择datafile，然后点击*OK*。

5) 点*Create Image*。这将产生 `BOOT.bin` 文件在 `$REPO/pynq-z2/deliver_output` 目录下。

进行完以上5个步骤之后，如果再次修改其中的文件，通过如下命令快速生成boot.bin文件（注：最终写入到SD卡中的boot.bin文件名不区分大小写）。

    $ cd $REPO/pynq-z2/
    $ make deliver_output/boot.bin

### 3.6) <a name="arm-linux"></a> 编译zynq ARM的linux内核

然后编译linux内核：

	$ cd $REPO/pynq-z2/
	$ make arm-linux

### 3.7) <a name="arm-dtb"></a> 生成设备树文件

生成linux的dtb：

	$ make arm-dtb

### 3.8) <a name="booting"></a> 启动

此时，`$REPO/pynq-z2/deliver_output` 目录下包含如下文件：

* `BOOT.bin` - 包含FSBL、bitstream、u-boot。
* `uImage` - zynq ARM端的Linux内核。
* `devicetree.dtb` - Linux需要的设备树文件。
* `uramdisk.image.gz` - ARM linux的文件系统。

最终只需将linux根文件系统复制到该目录下即可完成SD卡内所有文件的准备工作，进入目标开发板的目录，执行：

    $ cd $REPO/pynq-z2/
    $ cp fpga-images-pynq/uramdisk.image.gz ./deliver_output/

现在将`deliver_output/`中的如下四个文件拷贝到SD卡中，然后将SD卡插入到pynq-z2开发板中，将开发板右上角跳线帽调整到SD端（即从SD卡启动）。SD卡内的目录结构如下：

	SD_ROOT/
	|-> boot.bin
	|-> devicetree.dtb
	|-> uImage
	|-> uramdisk.image.gz

此时已经完成了所有工作，打开开发板电源，使用网线（用户名密码均为*root*）连接至开发板并运行hello程序： 

    $ ssh root@192.168.1.5
    root@zynq:~# ./fesvr-zynq pk hello
    hello!

<a name="appendices"></a> 附录
------------


### 主机与开发板传输文件

#### 通过以太网传输文件
最简单的方法，使用scp在线传输文件：

    $ scp file root@192.168.1.5:~/

注意：上电期间对文件系统的修改不会自动写入`uramdisk.image.gz`文件中，如需永久修改文件系统参见如下：

#### 修改linux文件系统
1）首先需要安装uboot tools：

```
sudo apt-get install u-boot-tools -y
```

2）将SD卡通过读卡器插入主机。

3）解压文件系统：

    $ cd $REPO/pynq-z2
    $ make ramdisk-open

解压后的文件系统位置为：`$REPO/pynq-z2/ramdisk`，可以在此处修改文件系统中的文件。
（注：如果执行时出现`make: *** [fpga-images-pynq/boot.bif] Error 128`错误，请执行`cp ../zedboard/fpga-images-zedboard/boot.bif ./fpga-images-pynq/`命令）

4）修改完成后压缩文件系统，覆盖旧的文件系统：

    $ cd $REPO/pynq-z2/
    $ make ramdisk-close

（注：文件系统的位置为：`$REPO/pynq-z2/fpga-images-pynq/uramdisk.image.gz`，该文件大小不能超过10MB，否则无法启动！）

5）将文件系统`$REPO/pynq-z2/fpga-images-pynq/uramdisk.image.gz`拷贝到SD卡。

#### 通过给sd卡分区并自动挂载到arm linux文件系统中实现永久存储（掉电不丢失）

如果本地仓库没有$REPO/sd-partition这个目录，则需要进入[这里](https://gitee.com/hustos/fpga-pynq/raw/master/sd-partition/get-files.png)，点击“下载zip”

![](https://gitee.com/hustos/fpga-pynq/raw/master/sd-partition/get-files.png)

下载好后将文件传到ubuntu系统中并解压，并将该目录复制到本地仓库中。

1）先给sd卡分区，可以在windows下分成两个区或在ubuntu系统下使用fdisk工具分区，为了方便起见，特地制作了sd卡分区脚本，只需要把sd卡接到ubuntu系统，执行以下命令即可：
*注意：第二行命令的"/dev/sd?"要改为自己sd卡所在的路径，我的路径为"/dev/sdc"，分区后sd卡内容会全部丢失，请提前做好备份，一定要检查无误后再执行！！！*

```
$ cd $REPO/sd-partition
$ ./make-fs.sh /dev/sd?
```

2）此时sd卡有两个分区，第一个分区不到100M，另一个分区是剩下的空间，第一个分区里面要放置四个文件*boot.bin devicetree.dtb uImage uramdisk.image.gz*，第二个比较大的分区放置自己要挂载到arm linux系统上的文件。
*说明：arm linux的根文件系统做了少许改动（自动挂载sd第二个分区，添加软连接在`/home/root/sd-card`以快速访问该分区），改动后文件位于[$REPO/sd-partition/uramdisk.image.gz](https://gitee.com/hustos/fpga-pynq/blob/master/sd-partition/uramdisk.image.gz)*

## <a name="note"></a> 说明

此工程基于[fpga-zynq](https://github.com/ucb-bar/fpga-zynq)，如果需要更加深入的了解，请参考[fpga-zynq](https://github.com/ucb-bar/fpga-zynq)。