建站
咨詢
售后
建站咨詢
新聞中心
現在，您可以在Python API中干凈地復制 Tensor 對象上的所有屬性，而不僅僅是簡單的 Tensor 屬性。在 torch.linspace 和 torch.logspace 中，Steps 參數不再是可選的。在 PyTorch 1.10.2 中該參數默認為 100?，F在，它不再是一種選擇。PyTorch 還刪除了錯誤公開的 torch.hub.import_module 函數。不推薦在具有不同維數的張量上調用 xT。現在，它只接受 0 或 2 維的張量。
C++前端標頭現在減少為僅包含使用的 aten 運算符的子集?，F在，如果用戶包含來自 C++ 前端的標頭，則可能不會傳遞包含 aten 運算符。但是，用戶可以直接在他們的文件中添加#include
對于CUDA，THCeilDiv 函數和相應的 THC/THCDeviceUtils.cuh 頭文件、THCudaCheck 和 THCudaMalloc()、THCudaFree()、THCThrustAllocator.cuh 已被刪除。
新特性
對于 Python API，PyTorch 1.11 添加了 set_deterministic_debug_mode 和 get_deterministic_debug_mode，n 維 Hermitian FFT：torch.fft.ifftn 和 torch.fft.hfftn，Wishart 分布到 torch.distributions。PyTorch 為 torch 和 torch.linalg 模塊添加了對 Python Array API 標準的初步支持。它實現了 Python Array API 定義的 90% 以上的運算符，包括用于改進 DLPack 支持的 torch.from_dlpack 操作。他們還將 torch.testing 從原型轉移到了測試版。
對于Autograd，PyTorch 1.11 有一個新的 torch.utils.checkpoint 實現，它不使用可重入 autograd。轉發(fā)模式 AD 現在支持大多數操作，并包括 ctx.save_for_forward 函數到 autograd.Function。autograd.forward_ad.unpack_dual 現在將返回一個命名元組而不是普通元組。
線性代數運算支持包括對 torch.linalg.{eig, inverse, houseer_product, qr} 和 torch.*_solve 的正向 AD 支持。他們還為 torch.linalg.lstsq 添加了前向和后向 AD 支持，并為 linalg.pinv 添加了更廣泛的輸入。
對于ONNX，Pytorch 1.11 支持 opset 版本 15，將 nn.Module 調用導出為 ONNX 本地函數，導出 tanhshrink、hardshrink、softshrink、__xor__、isfinite log10 和對角線等新操作。它還支持使用 Apex O2 導出。
對于 Infra (Releng)，Pytorch 1.11 增加了對 ROCm 4.3.1、ROCm 4.5.2、CUDA 11.5、CUDA 啟用 Bazel 構建、Python 3.10 的支持。
Pytorch 1.11 現在引入了 FlexiBLAS 構建支持、用于 cpp 擴展構建的 IS_LINUX 和 IS_MACOS 全局變量、用于 iOS CMake 構建的 ARC 以及對 IBM z14/15 SIMD 的支持。
新的更新還包括一個實驗標志，允許用戶指定首選的線性代數庫。添加了 linalg.matrix_exp、linalg.cross 和 linalg.diagonal（torch.diagonal 的別名）等操作。
對于 CUDA，新的更新引入了 Jiterator，使用戶能夠在運行時編譯很少使用的 CUDA 內核。cuSPARSE 描述符和更新的 CSR addmm、addmv_out、nvidia-smi 內存和作為本機 Python API 的利用率也已添加。
對于 Vulkan，Pytorch 1.11 增加了對幾個 Torch 運算符的支持，例如 torch.cat、torch.nn “.ConvTranspose2d 、torch.permute 、張量索引（at::slice）和torch.clone。新的 Pytorch 迭代還包括基于跟蹤的選擇性構建功能，通過包含模型使用的運算符來減少移動模型的二進制大小。
點擊這里（https://github.com/pytorch/pytorch/releases/tag/v1.11.0）閱讀更多。
TorchData
Pytorch 還發(fā)布了TorchData，這是一個通用模塊化數據加載原語庫，用于輕松構建靈活且高性能的數據管道。
該產品通過稱為“DataPipes”的 Iterable 樣式和 Map 樣式的構建塊實現了可組合的數據加載，這些構建塊與 PyTorch 的DataLoader開箱即用。
用戶可以連接多個DataPipes，形成一個數據管道，執(zhí)行所有數據轉換。
TorchData 已經為文件打開、文本解析、樣本轉換、緩存、混洗和批處理等核心功能實現了 50 多個 DataPipes。想要連接到云提供商（例如 Google Drive 或 AWS S3）的用戶可以使用 fsspec 和 iopath DataPipes 來實現。每個 IterDataPipe 和 MapDataPipe 在文檔中都有詳細的解釋和使用示例。
在此版本中，一些 PyTorch 域庫已將其數據集遷移到 DataPipes。TorchText 的流行數據集是使用 DataPipes 實現的，其 SST-2 二進制文本分類教程的一部分展示了如何使用 DataPipes 為模型預處理數據。
functorch
Functorch受到Google JAX的啟發(fā)，旨在提供可組合的 vmap（矢量化）和 autodiff 轉換，這些轉換可以很好地與 PyTorch 模塊和 PyTorch autograd 配合使用。
該庫可以幫助用戶計算每個樣本的梯度，在單臺機器上運行模型集合，在 MAML 的內循環(huán)中將任務批處理在一起，以及計算 Jacobians 和 Hessians 以及批處理。
本文名稱：PyTorch1.11發(fā)布，帶來TorchData和functorch兩個新庫
標題URL：http://m.5511xx.com/article/dhpijpd.html
