mindspore.dataset.DatasetCache

class mindspore.dataset.DatasetCache(session_id, size=0, spilling=False, hostname=None, port=None, num_connections=None, prefetch_size=None)

创建数据缓存客户端实例。

关于单节点数据缓存的使用，请参阅 单节点数据缓存教程 。

参数：

• session_id (int) - 当前数据缓存客户端的会话ID，用户在命令行开启缓存服务端后可通过 dataset-cache -g 获取。

• size (int, 可选) - 设置数据缓存服务可用的内存大小。默认值： 0 ，表示内存使用没有限制。

• spilling (bool, 可选) - 如果共享内存不足，是否将溢出部分缓存到磁盘。默认值： False 。

• hostname (str, 可选) - 数据缓存服务客户端的主机IP。默认值： None ，表示使用默认主机IP 127.0.0.1。

• port (int, 可选) - 指定连接到数据缓存服务端的端口号。默认值： None ，表示端口为50052。

• num_connections (int, 可选) - TCP/IP连接数量。默认值： None ，表示连接数量为12。

• prefetch_size (int, 可选) - 指定缓存队列大小，使用缓存功能时，将直接从缓存队列中获取数据。默认值： None ，表示缓存队列大小为20。

样例：

>>> import subprocess
>>> import mindspore.dataset as ds
>>>
>>> # Create a cache instance with command line `dataset-cache --start`
>>> # Create a session with `dataset-cache -g`
>>> # After creating cache with a valid session, get session id with command `dataset-cache --list_sessions`
>>> command = "dataset-cache --list_sessions | tail -1 | awk -F ' ' '{{print $1;}}'"
>>> session_id = subprocess.getoutput(command).split('\n')[-1]
>>> some_cache = ds.DatasetCache(session_id=int(session_id), size=0)
>>>
>>> dataset_dir = "/path/to/image_folder_dataset_directory"
>>> dataset = ds.ImageFolderDataset(dataset_dir, cache=some_cache)

get_stat()

获取缓存实例的统计信息。在数据管道结束后，可获取三类统计信息，包括平均缓存命中数（avg_cache_sz），内存中的缓存数（num_mem_cached）和磁盘中的缓存数（num_disk_cached）。

样例：

>>> import os
>>> import subprocess
>>> import mindspore.dataset as ds
>>>
>>> # In example above, we created cache with a valid session id
>>> command = "dataset-cache --list_sessions | tail -1 | awk -F ' ' '{{print $1;}}'"
>>> id = subprocess.getoutput(command).split('\n')[-1]
>>> some_cache = ds.DatasetCache(session_id=int(id), size=0)
>>>
>>> # run the dataset pipeline to trigger cache
>>> dataset = ds.ImageFolderDataset("/path/to/image_folder_dataset_directory", cache=some_cache)
>>> data = list(dataset)
>>>
>>> # get status of cache
>>> stat = some_cache.get_stat()
>>> # Average cache size
>>> cache_sz = stat.avg_cache_sz
>>> # Number of rows cached in memory
>>> num_mem_cached = stat.num_mem_cached
>>> # Number of rows spilled to disk
>>> num_disk_cached = stat.num_disk_cached