专注于做有价值的技术原创

0%

Kaggle 命令行工具查看 AI 最新竞赛和下载数据集

1. 安装

1.1 普通安装

kaggle 命令行工具安装在系统搜索路径下。

1
pip install kaggle

1.2 Mac/Linux 推荐安装

kaggle 命令行工具安装在当前登陆用户目录 ~/.local/bin 下。

1
pip install --user kaggle

安装完成功后,确保 ~/.local/bin 添加到 PATH 环境变量中。

1
echo $PATH

如果未看到 ~/.local/bin 目录,执行一下命令添加:

1
2
echo 'export PATH=~/.local/bin:$PATH' >>  ~/.bash_profile
source ~/.bash_profile

再次确认是否成功添加:

1
echo $PATH

对于不太熟悉 linux 的读者,还是增加一点提示,这里看到的不是我们添加的 ~/.local/bin , 而是形如 /Users/ken/.local/bin/home/ken/.local/bin 的路径,因为 ~ 代表的是当前用户目录,在添加后,被实际用户目录替代了。

1.3 检查是否成功安装

1
kaggle -v

显示如下版本信息,代表已经正确安装。下面,一起 enjoy it !

1
Kaggle API 1.5.x

2. 账户授权

注册 Kaggle 账号。登陆账号,进入用户账户页面 https://www.kaggle.com/<username>/account , 在 API 栏目,点击 Create API Token 按钮,触发浏览器下载包含 API 凭证的 json 文件 kaggle.json 。将此文件放到 ~/.kaggle/kaggle.json 路径下(Windows 系统路径是 C:\Users\<Windows-username>\.kaggle\kaggle.json)。

在 linux 平台,安全起见,建议给 API 凭证设置权限:

1
chmod 600 ~/.kaggle/kaggle.json

3. Kaggle 支持命令总览

1
2
3
4
kaggle competitions {list, files, download, submit, submissions, leaderboard}
kaggle datasets {list, files, download, create, version, init}
kaggle kernels {list, init, push, pull, output, status}
kaggle config {view, set, unset}

4. Kaggle 竞赛

与 Kaggele 竞赛交互,使得参与竞赛和模型构建工作流无缝集成。

4.1 查看当前可以参与的竞赛

1
kaggle competitions list

输出如下:

1
2
3
4
5
6
7
8
9
ref                                            deadline             category            reward  teamCount  userHasEntered  
--------------------------------------------- ------------------- --------------- --------- --------- --------------
digit-recognizer 2030-01-01 00:00:00 Getting Started Knowledge 2680 False
house-prices-advanced-regression-techniques 2030-01-01 00:00:00 Getting Started Knowledge 4643 False
imagenet-object-localization-challenge 2029-12-31 07:00:00 Research Knowledge 51 False
cat-in-the-dat 2019-12-09 23:59:00 Playground Swag 553 False
understanding_cloud_organization 2019-11-18 23:59:00 Research $10,000 551 False
3d-object-detection-for-autonomous-vehicles 2019-11-12 23:59:00 Featured $25,000 141 False
...

按奖金排序:

1
kaggle competitions list --sort-by prize

输出如下:

1
2
3
4
5
6
7
8
ref                                          deadline             category      reward  teamCount  userHasEntered  
------------------------------------------- ------------------- -------- ---------- --------- --------------
passenger-screening-algorithm-challenge 2017-12-15 23:59:00 Featured $1,500,000 518 False
zillow-prize-1 2018-01-10 15:59:00 Featured $1,200,000 3775 False
data-science-bowl-2017 2017-04-12 23:59:00 Featured $1,000,000 1972 False
hhp 2013-04-04 07:00:00 Featured $500,000 1351 False
second-annual-data-science-bowl 2016-03-14 23:59:00 Featured $200,000 192 False
...

筛选大厂招聘类竞赛:

1
kaggle competitions list --category recruitment

将结果保存在 csv 文件里:

1
kaggle competitions list --csv > competitions_list.csv

通过关键词搜索竞赛:

1
kaggle competitions list -s "dog cat"

查看更多支持选项:

1
kaggle competitions list -h

4.2 查看指定竞赛排行榜

竞赛由命令 kaggle competitions list 结果的 ref 字段指定。

1
kaggle competitions leaderboard -s facebook-ii

5. Kaggle 数据集

与 Kaggele 数据集交互,使搜索和下载 Kaggle 数据集成为数据科学工作流程的一个无缝部分。

5.1 按关键词搜索数据集

格式:kaggle datasets list -s [KEYWORD]

1
kaggle datasets list -s "dog cat"

5.2 下载指定数据集

格式:kaggle datasets download -d [DATASET] 。目标下载数据集由命令 kaggle datasets list 输出的 ref 字段指定。

1
kaggle datasets download -d hocop1/cat-and-dog-breeds-parameters

数据集下载完成后,以 .zip 压缩格式保存在当前目录下。如:cat-and-dog-breeds-parameters.zip

6. 更多命令

本文只介绍了笔者认为最实用的命令。其他命令,建议读者在深入了解 Kaggle 平台后,自行探索尝试,使用方式大同小异。本文不再一一介绍。

获取更多帮助,也可以运行如下命令。

1
kaggle -h

或参考 Kaggle GitHub 主页,见【参考 2】。

参考

  • [1] How to use Kaggle: Public API
  • [2] https://github.com/Kaggle/kaggle-api
青笔 wechat
我是一条小青蛇 我有很多小秘密