Datasets documentation
NumPy との併用
NumPy との併用
このドキュメントは、datasets を NumPy と組み合わせて使用する際の簡単な入門ガイドです。特に、データセットから numpy.ndarray オブジェクトを取得する方法、および scikit-learn のような NumPy ベースのモデルを訓練するためにそれらを使用する方法に焦点を当てています。
データセットの形式
デフォルトでは、datasetsは通常のPythonオブジェクト（整数、浮動小数点数、文字列、リストなど）を返します。
NumPy配列を取得するには、データセットの形式をnumpyに設定できます:
>>> from datasets import Dataset
>>> data = [[1, 2], [3, 4]]
>>> ds = Dataset.from_dict({"data": data})
>>> ds = ds.with_format("numpy")
>>> ds[0]
{'data': array([1, 2])}
>>> ds[:2]
{'data': array([
[1, 2],
[3, 4]])}Dataset オブジェクトは Arrow テーブルのラッパーであり、データセット内の配列から NumPy 配列への高速な読み取りを可能にします。
まったく同じ手順がDatasetDictオブジェクトにも適用されることに注意してください。DatasetDictの形式をnumpyに設定すると、そこに含まれるすべてのDatasetがnumpy形式になります。
>>> from datasets import DatasetDict
>>> data = {"train": {"data": [[1, 2], [3, 4]]}, "test": {"data": [[5, 6], [7, 8]]}}
>>> dds = DatasetDict.from_dict(data)
>>> dds = dds.with_format("numpy")
>>> dds["train"][:2]
{'data': array([
[1, 2],
[3, 4]])}N次元配列
データセットがN次元の配列で構成されている場合、デフォルトでは、shapeが固定されている場合、それらは同じ配列として扱われることがわかります。
>>> from datasets import Dataset
>>> data = [[[1, 2],[3, 4]], [[5, 6],[7, 8]]] # fixed shape
>>> ds = Dataset.from_dict({"data": data})
>>> ds = ds.with_format("numpy")
>>> ds[0]
{'data': array([[1, 2],
[3, 4]])}>>> from datasets import Dataset
>>> data = [[[1, 2],[3]], [[4, 5, 6],[7, 8]]] # varying shape
>>> ds = Dataset.from_dict({"data": data})
>>> ds = ds.with_format("numpy")
>>> ds[0]
{'data': array([array([1, 2]), array([3])], dtype=object)}ただし、このロジックは多くの場合、遅い形状の比較とデータのコピーを必要とします。
これを回避するには、Array機能型を明示的に使用し、テンソルの形状を指定する必要があります：
>>> from datasets import Dataset, Features, Array2D
>>> data = [[[1, 2],[3, 4]],[[5, 6],[7, 8]]]
>>> features = Features({"data": Array2D(shape=(2, 2), dtype='int32')})
>>> ds = Dataset.from_dict({"data": data}, features=features)
>>> ds = ds.with_format("numpy")
>>> ds[0]
{'data': array([[1, 2],
[3, 4]])}
>>> ds[:2]
{'data': array([[[1, 2],
[3, 4]],
[[5, 6],
[7, 8]]])}その他の特徴タイプ
ClassLabel データは正しく配列に変換されます:
>>> from datasets import Dataset, Features, ClassLabel
>>> labels = [0, 0, 1]
>>> features = Features({"label": ClassLabel(names=["negative", "positive"])})
>>> ds = Dataset.from_dict({"label": labels}, features=features)
>>> ds = ds.with_format("numpy")
>>> ds[:3]
{'label': array([0, 0, 1])}NumPyは数値のみをサポートするため、文字列オブジェクトとバイナリオブジェクトは変更されません。
ImageおよびAudioの機能タイプもサポートされています。
Image機能タイプを使用するには、
visionエクストラをpip install datasets[vision]としてインストールする必要があります。
>>> from datasets import Dataset, Features, Image
>>> images = ["path/to/image.png"] * 10
>>> features = Features({"image": Image()})
>>> ds = Dataset.from_dict({"image": images}, features=features)
>>> ds = ds.with_format("numpy")
>>> ds[0]["image"].shape
(512, 512, 3)
>>> ds[0]
{'image': array([[[ 255, 255, 255],
[ 255, 255, 255],
...,
[ 255, 255, 255],
[ 255, 255, 255]]], dtype=uint8)}
>>> ds[:2]["image"].shape
(2, 512, 512, 3)
>>> ds[:2]
{'image': array([[[[ 255, 255, 255],
[ 255, 255, 255],
...,
[ 255, 255, 255],
[ 255, 255, 255]]]], dtype=uint8)}Audio機能タイプを使用するには、
audioエクストラをpip install datasets[audio]としてインストールする必要があります。
>>> from datasets import Dataset, Features, Audio
>>> audio = ["path/to/audio.wav"] * 10
>>> features = Features({"audio": Audio()})
>>> ds = Dataset.from_dict({"audio": audio}, features=features)
>>> ds = ds.with_format("numpy")
>>> ds[0]["audio"]["array"]
array([-0.059021 , -0.03894043, -0.00735474, ..., 0.0133667 ,
0.01809692, 0.00268555], dtype=float32)
>>> ds[0]["audio"]["sampling_rate"]
array(44100, weak_type=True)データ読み込み
NumPyには組み込みのデータ読み込み機能がないため、scikit-learnで使用するX, yのようなNumPy配列を物化するか、PyTorchなどのライブラリを使用してDataLoaderでデータをロードする必要があります。
with_format('numpy') を使用する場合
データセットからNumPy配列を取得する最も簡単な方法は、with_format('numpy')メソッドを使用することです。HuggingFace Hubのhttps://huggingface.co/datasets/mnistで利用可能なMNISTデータセットでニューラルネットワークを訓練したいと仮定します。
>>> from datasets import load_dataset
>>> ds = load_dataset("ylecun/mnist")
>>> ds = ds.with_format("numpy")
>>> ds["train"][0]
{'image': array([[ 0, 0, 0, ...],
[ 0, 0, 0, ...],
...,
[ 0, 0, 0, ...],
[ 0, 0, 0, ...]], dtype=uint8),
'label': array(5)}形式が設定されたら、Dataset.iter() メソッドを使用して、NumPy ベースのモデルにバッチ単位でデータセットを供給できます:
>>> for epoch in range(epochs):
... for batch in ds["train"].iter(batch_size=32):
... x, y = batch["image"], batch["label"]
... ...