通过Hugging Face的Access Tokens下载资源的办法

在大模型部署过程中会经常与Hugging Face这个网站打交道，因为国内网络原因导致如何快速下载资源是一个难题。对于一些开放的资源来说可以直接通过wget进行下载，中断了的话续传即可，但是像是Llama2这种需要先申请授权才能下载的资源就没办法直接使用wget下载了，会提示401错误。一开始尝试wget时加上Hugging Face用户名密码，但是这一步是错的，实际需要的是Hugging Face的Access Tokens，拿到Access Tokens后就可以直接拉取资源了

1、查看Access Tokens

2、使用Access Tokens下载

# curl -H "Authorization: Bearer your_token_here" -L -O "resource_url"  
# your_token_here是Hugging Face token，resource_url是想要下载的资源URL
curl -H "Authorization: Bearer hf_xxxxxxxxxxxxxxxx" -L -O https://huggingface.co/meta-llama/Llama-2-70b-chat-hf/resolve/main/model-00001-of-00015.safetensors

3、下载成功