管理者が追加したグラフ自体を非表示にすることはできませんが、レコードやフィールドに対してユーザー／組織ごとにアクセス権を設定することで、権限のないレコードやフィールドが集計結果に表示されないようにすることは可能です。

集計対象になるのは、そのユーザーが閲覧権限を持つレコード／フィールドのみです。
集計の設定で閲覧権限のないフィールドが指定されている場合は、そのフィールドは集計の対象から外され、集計結果にも表示されません。