如何在无N卡笔记本上部署Chinese-poetry的项目
Ray Cheng 英砖生

本篇文章主要关于课程项目Chinese-poetry在无N卡笔记本上的部署流程。

首先要判断自己电脑上是否有N卡,点击win+r,在弹出的框中输入cmd,调出终端,在其中输入nvidia-smi,如果有没有N卡,就会报错,如下图所示。

image

如果没有N卡,那么就可以接着往下看了。

准备项目文件夹资源

首先,下载企业微信群里的GPT2-Chinese-Poetry-master的压缩包、train.csv文件、final_model压缩包。

解压GPT2-Chinese-Poetry-master压缩包后,在其中新建data和model文件夹,分别将train.csv文件和final_model解压后的文件放入其中,如下图所示。

image

注意:要将final_model整个文件夹放入model文件夹中。

image

以上就是部署前的准备。接下来有三种情况:

一:安装了Anaconda(简称conda)。
二:未安装conda。
三:你没有安装conda,而你的python版本又大于等于3.11,这时就会稍微复杂一点。

按照以下方式判断是否安装了conda,以及python的版本。

win+r后回车调出终端,在终端输入conda env list查看conda的虚拟环境,如果出现了类似下图的代码,就说明有conda。有conda的话,那你不需要关注自己电脑的python版本,因为后续会在conda中创建一个新的python环境。

image

在终端输入python查看电脑上的python版本。下图中可见,我的电脑安装的就是3.10。

image

注意:如果下载过程中比较缓慢,那就需要更换下载源,重新开始:

  1. 打开文件夹中,查看隐藏文件夹的选项。

  2. 找到C:\Users\xx\AppData\Roaming文件夹

  3. 在Roaming文件夹中,直接创建pip文件夹,在pip文件夹中创建pip.ini文件

  4. 在该文件中输入以下代码。

    1
    2
    [global]
    index-url = https://pypi.tuna.tsinghua.edu.cn/simple

换源之后,下载速度就会快很多。

一、有conda

安装了conda,我们就可以直接创建一个python3.9的虚拟环境,然后在虚拟环境中直接安装requirements文件中的库即可完成部署。

开始安装前,我们需要简单修改一下GPT2-Chinese-Poetry-master文件夹中requirements.txt文件的内容,将torchtorchvision以及torchaudio后的+cu117删除掉即可。

image

保险起见,建议大家将文件夹中的查看文件拓展名选项打开

image
  1. 点击win+r,在弹出的框中输入cmd,调出终端。输入conda create -n poetry_practice python=3.9创建一个名为poetry_practied的虚拟环境,名称可以按自己的喜好修改,如下图。创建好后关闭该终端窗口。

    image
  2. 进入下载的GPT2-Chinese-Poetry-master文件夹,首先点击地址栏,

    image

    然后输入cmd回车,

    image

    最终会调出带有地址的终端窗口如下图。

    image
  3. 在弹出的终端窗口中输入conda activate poetry_practice激活上文中创建的虚拟环境。输入后,会自动弹出一行地址,但是最前方带有虚拟环境的名字。然后输入pip install -r requirements.txt等待下载即可。

    image
  4. 下载完后输入python ./generate.py --length=34 --nsamples=4 --prefix=七言绝句[SEP]风和日丽测试。

    image

二、无conda且py<3.11

修改一下GPT2-Chinese-Poetry-master文件夹中requirements文件的内容,将torchtorchvision以及torchaudio后的+cu117删除掉即可。

image
  1. 进入下载的GPT2-Chinese-Poetry-master文件夹,首先点击地址栏,

    image

    然后输入cmd回车,

    image

    最终会调出带有地址的终端窗口如下图。

    image
  2. 在弹出的终端窗口中直接输入pip install -r requirements.txt等待下载即可。

    image
  3. 下载完后输入python ./generate.py --length=34 --nsamples=4 --prefix=七言绝句[SEP]风和日丽测试。

    image

三、无conda且py>=3.11

3.1 方法一

  1. 进入下载的GPT2-Chinese-Poetry-master文件夹,首先点击地址栏,

    image

    然后输入cmd回车,

    image

    最终会调出带有地址的终端窗口如下图。

    image
  2. 下载torch和sentencepiece

    下载torch有两个方法:

    一是点击进入该网址,然后在这个网址查找合适的对应的torchtorchvisiontorchaudio版本下载。

    二是直接在终端使用pip命令下载。当然我们这里选择第二种。

    输入pip install torchvision,这个命令会同时下载torchtorchvision。请忽略图片中最前方(demo-3.11),你们应该是没有的。

    image

    然后输入pip install torchaudio下载torchaudio

    image

    因为requirementsl.txt中的sentencepiece的版本是0.1.97,和python3.11不兼容,所以我们需要在命令行输入pip install sentencepice单独下载sentencepiece包。

  3. 修改requirements文件并下载其他包

    因为我们事先下载了其他的四个包,所以此时requirements文件中,我们需要将这四个包删除掉。

    image

    然后在命令行输入pip install -r requirements.txt运行requirements.txt文件下载其他包.

  4. 下载完后输入python ./generate.py --length=34 --nsamples=4 --prefix=七言绝句[SEP]风和日丽测试。

    image

3.2 最简单的方法

修改一下GPT2-Chinese-Poetry-master文件夹中requirements文件的内容,将所有的等号和数字全部删除。

image
  1. 进入下载的GPT2-Chinese-Poetry-master文件夹,首先点击地址栏,

    image

    然后输入cmd回车,

    image

    最终会调出带有地址的终端窗口

  2. 输入pip install -r requirements.txt,等待安装其中的包。

    image
  3. 输入python ./generate.py --length=34 --nsamples=4 --prefix=七言绝句[SEP]风和日丽测试。