AutoGluon介绍
Autogluon的发明人是李沐(Mu Li)和他在亚利桑那州立大学的研究团队。
Autogluon是一种自动化机器学习工具, 可以同时支持两种模式:迁移学习模式和自动机器学习模式。
如果你已经训练好了一个模型,并且想在新的数据集上进行迁移学习,则可以使用Autogluon的迁移学习模式。在这种模式下,你可以将预先训练好的模型作为初始模型,然后使用新的数据集进行微调。Autogluon提供了API,可以将预训练的模型加载到迁移学习框架中,并进行微调和优化。
如果没有预训练的模型,想自动化地训练一个新的模型,则可以使用Autogluon的自动机器学习模式。在这种模式下,你只需要提供数据集,并指定一些基本的参数,Autogluon将自动执行整个机器学习过程,包括数据预处理、特征选择、模型选择和调整,从而为你生成一个最佳的模型。
Autogluon可以自动生成的模型任务类型包括:
- 二分类任务(Binary classification):根据输入数据预测两个类别之一。
- 多分类任务(Multiclass classification):根据输入数据预测多个类别之一。
- 回归任务(Regression):根据输入数据预测数值型输出。
- 时间序列任务(Time series forecasting):根据时间序列数据预测未来的趋势和趋势变化。
- 推荐任务(Recommendation):根据用户行为历史和其他信息预测用户可能感兴趣的内容或商品。
- 图像分类任务(Image classification):根据输入的图像数据对图像进行分类。
- 自然语言处理任务(Natural language processing):根据输入的文本数据对文本进行分类或者生成。
- 异常检测任务(Anomaly detection):根据输入的数据检测异常或者离群点。
安装
安装python环境
官网地址:https://auto.gluon.ai/stable/index.html
需与python版本对应好
yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
yum install -y libffi-devel zlib1g-dev
yum install zlib* -y
cd /home
wget https://www.python.org/ftp/python/3.10.1/Python-3.10.1.tar.xz
tar -xvJf Python-3.10.1.tar.xz
mkdir /usr/local/python3
升级 OpenSSL 版本。
# 查看当前 OpenSSL 版本
openssl version
# 下载最新的 OpenSSL
wget https://www.openssl.org/source/openssl-1.1.1m.tar.gz --no-check-certificate
# 安装 perl
yum -y install perl
# 解压 OpenSSL 源代码文件
tar -zxvf openssl-1.1.1m.tar.gz
# 进入解压后的 OpenSSL 目录
cd openssl-1.1.1m
# 配置 OpenSSL 的安装路径
./config --prefix=/usr/local/openssl
# 编译并安装 OpenSSL
make && make install
# 备份系统中的旧 OpenSSL 可执行文件
mv /usr/bin/openssl /usr/bin/openssl.bak
# 创建符号链接以关联新安装的 OpenSSL 可执行文件
ln -sf /usr/local/openssl/bin/openssl /usr/bin/openssl
# 向动态链接库配置文件添加新的 OpenSSL 库路径
echo "/usr/local/openssl/lib" >> /etc/ld.so.conf
# 使用 ldconfig 命令刷新动态链接库缓存,使新配置生效
ldconfig -v
#编译并安装 Python 3.10
cd Python-3.10.1
# 运行 Python 配置脚本,配置编译参数
./configure --prefix=/usr/local/python3 --with-openssl=/usr/local/openssl --enable-shared
# 使用 make 命令编译 Python 3.10 源代码
# make 命令会根据配置参数编译源代码并生成可执行文件
make
# 使用 make install 命令安装 Python 3.10
# make install 会将编译生成的 Python 可执行文件、库文件和其他必要文件安装到指定目录
make install
# 创建软链接以将 Python 3.10 与 python3 和 pip3 关联。
# 备份系统默认的 /usr/bin/python 可执行文件
mv /usr/bin/python /usr/bin/python.bak
# 创建软链接,将 /usr/local/python3/bin/python3 关联到 /usr/bin/python3,使 python3 命令可用
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
# 备份系统默认的 /usr/bin/pip 可执行文件
mv /usr/bin/pip /usr/bin/pip.bak
# 创建软链接,将 /usr/local/python3/bin/pip3 关联到 /usr/bin/pip3,使 pip3 命令可用
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
# 验证 Python 和 pip 版本。
# 向 /etc/ld.so.conf 文件中添加新的库路径
echo "/usr/local/python3/lib" >> /etc/ld.so.conf
# 使用 ldconfig 命令刷新动态链接库缓存,以使新配置生效
ldconfig -v
# 验证 Python 3.10 版本
python3 -V
# 验证 pip3 版本pip3 -V如果还是旧版本,8成是软链接没生效,ldconfig -v,刷新几次即可如果还不行,就是软链接创建失败,删除旧的python3文件再试删除现有的 /usr/bin/python3 文件:sudo rm /usr/bin/python3创建新的软链接:
ln -s /usr/local/python3/bin/python3 /usr/bin/python3验证结果如下,即成功在centos服务器上部署了python 3.10.1
!python -m pip install --upgrade pip
!python -m pip install autogluon
评论区