ファイルのダウンロードだけを禁止することはできません。
アクセス権の設定で、ユーザーにファイルの閲覧を禁止すると、ファイルの閲覧とダウンロードができなくなります。
詳細は、フォルダーのアクセス権の設定を参照してください。