ОБНОВЛЕНИЕ

Смотрите ответ. Нашел проблему.


Я загружаю довольно большие файлы и помещаю их в папку /zhome/5f/4/122845/Desktop/cleaned_files. После некоторых файлов система жалуется и не позволяет мне скачивать дальше из-за нехватки места. Но, глядя на df ниже, кажется, что у меня еще много осталось. Я предполагаю, что мне нужно искать под zhomeили как? но здесь говорится, что используется только 16%. Я новичок в Linux и использую HPC через ssh. Тип нфс.

Filesystem                     Size  Used Avail Use% Mounted on
devtmpfs                        95G     0   95G   0% /dev
tmpfs                           95G  320K   95G   1% /dev/shm
tmpfs                           95G  155M   94G   1% /run
tmpfs                           95G     0   95G   0% /sys/fs/cgroup
/dev/sda4                       72G  5.6G   63G   9% /
/dev/sda5                       34G   11G   21G  35% /usr
/dev/sda3                     1022M  4.0K 1022M   1% /rescue
/dev/sda2                      2.0G  210M  1.6G  12% /boot
/dev/sda7                      604G  108M  574G   1% /tmp
/dev/sda1                       64M  9.9M   55M  16% /boot/efi
beegfs_nodev                    98T   82T   16T  84% /work1
beegfs_nodev                   175T  112T   63T  65% /work2
beegfs_nodev                   142T  102T   40T  72% /work3
10.66.1.16:/ifs/hpchome/zhome  865T  132T  704T  16% /zhome
tmpfs                           19G     0   19G   0% /run/user/196326
10.66.0.102:/zdata/appl/linux   20T  1.6T   18T   8% /appl
10.66.0.102:/zdata/lsf10prod    18T   25G   18T   1% /lsf
tmpfs                           19G     0   19G   0% /run/user/234837
tmpfs                           19G     0   19G   0% /run/user/194863
tmpfs                           19G     0   19G   0% /run/user/230594
tmpfs                           19G     0   19G   0% /run/user/252995
tmpfs                           19G  4.0K   19G   1% /run/user/1002
10.66.0.102:/zdata/sw           18T  220G   18T   2% /dtu/sw
10.66.0.98:/zdata/scratch       47T   18T   29T  38% /dtu/hpc.scratch
tmpfs                           19G     0   19G   0% /run/user/260498
tmpfs                           19G     0   19G   0% /run/user/222845

Проверка этого:

-bash-4.2$ df -ih /zhome/
Filesystem                    Inodes IUsed IFree IUse% Mounted on
10.66.1.16:/ifs/hpchome/zhome   109G   17G   92G   16% /zhome

Проверка du после команды cd:

-bash-4.2$ du -sh *
27G Desktop
32K Downloads
1.8M    Maildir
24K public_html
318M    sratoolkit.2.11.0-ubuntu64
127M    sratoolkit.tar.gz
1
GoldenRetriever 20 Мар 2021 в 18:07
2
Какое точное сообщение об ошибке? Возможно, на устройстве не осталось места, превышена квота или файл слишком велик.
 – 
Stéphane Chazelas
20 Мар 2021 в 11:03

2 ответа

Как оказалось, проблема связана не с INodes, а с квотой, как указывал @James в начале. df, который я разместил в вопросе, показывает пространство для всех пользователей HPC, а не для одного пользователя, как я думал изначально.

Благодаря @James.

1
GoldenRetriever 20 Мар 2021 в 18:04

У вас есть большое количество мелких файлов в томе? Возможно, у вас закончились иноды.

Вы можете проверить с df -ih /zhome

Похоже, что это сетевое монтирование — это должно работать, если это NFS, но другие типы (особенно cifs) могут не работать, и в этом случае вы захотите запустить команду df -ih локально на машине с этим томом .

0
James 20 Мар 2021 в 10:28
Итак, я извлекаю большие файлы (5G-10G) и очищаю их, чтобы они использовали только около 200M. Однако это делается параллельно, поэтому в какой-то момент папка вмещает до 5 файлов полного размера (потому что я запускаю блоки по 5 штук параллельно). Чтобы ответить на ваш вопрос, да, он содержит небольшие файлы, но на данный момент их всего около 40 небольших файлов (200 МБ).
 – 
GoldenRetriever
20 Мар 2021 в 10:41
Кроме того, см. мое редактирование вопроса. У меня до сих пор свободно 92G в iNode
 – 
GoldenRetriever
20 Мар 2021 в 10:45
Хорошо, тогда это определенно не иноды - возможно, это проблема квот/корневого резервирования? Какое точное сообщение об ошибке вы получаете, когда оно больше не может писать? После небольшого осмотра оказалось, что вы, возможно, сохраняете в общий ресурс в системе хранения Isilon. В этом случае, скорее всего, проблема заключается в квоте, и из-за некоторых сложностей вы не можете увидеть ограничения с помощью df -- см. dell.com/community/Isilon/…
 – 
James
20 Мар 2021 в 10:59
Я использую набор инструментов для извлечения данных, и именно этот набор инструментов отображает эту ошибку: int: storage exhausted while creating directory within file system module - Cannot CreateFile: /zhome/5f/4/122845/Desktop/sra_sequences/sra/SRR827476.sra.lock. По поводу квоты. После прочтения это имеет смысл, потому что я студент, и могут быть другие студенты, использующие HPC. Однако я не могу проверить распределение квоты.
 – 
GoldenRetriever
20 Мар 2021 в 11:12
1
Это мой университет, который управляет всем. И я думаю, может проблема в квоте. Я написал им и жду ответа.
 – 
GoldenRetriever
20 Мар 2021 в 11:18