digit package

Submodules

digit.base_data module

base_data.py 其中包含BaseData类，用于存储数据

class digit.base_data.BaseData(data_id: str)

Bases: object

data_distribution()

数据分布

data_preprocessing()

数据预处理

data_preview()

数据预览

data_statistics()

描述性统计

get_category(number=False)

get_config(number=False)

get_description()

数据使用说明,包括数据集说明和代码说明 默认使用config.json中的description字段 可自行重构方法

get_name()

get_readme()

get_tags()

get_url()

load_data()

!!! 必须重构方法 加载数据 可自行重构方法 :return : dataset

run()

## 函数执行自定义顺序 :return:

digit.child_base_data module

class digit.child_base_data.AudioData(data_id: str)

Bases: digit.child_base_data.NonRelationalData

音频型数据类

class digit.child_base_data.DocData(data_id: str)

Bases: digit.child_base_data.NonRelationalData

文本型数据类

class digit.child_base_data.GraphData(data_id: str)

Bases: digit.base_data.BaseData

图数据类

class digit.child_base_data.ImageData(data_id: str)

Bases: digit.child_base_data.NonRelationalData

图片型数据类

class digit.child_base_data.LabelData(data_id: str)

Bases: digit.child_base_data.RelationalData

标签型数据类，继承关系型数据类s

class digit.child_base_data.NonRelationalData(data_id: str)

Bases: digit.base_data.BaseData

非关系型数据类

class digit.child_base_data.RelationalData(data_id: str)

Bases: digit.base_data.BaseData

关系型数据类

class digit.child_base_data.TableData(data_id: str)

Bases: digit.child_base_data.RelationalData

表格型数据类,集成继承关系型数据类

class digit.child_base_data.VideoData(data_id: str)

Bases: digit.child_base_data.NonRelationalData

视频型数据类

digit.core module

core中继承了所有类的中的所有功能

class digit.core.Core

Bases: object

all_in_one(data_id_or_name: str, update: bool = False, imp_class: str = 'DigitData')

delete(data_id_or_name)

download_repo(data_id_or_name: str, update: bool = False)

该函数可以根据data_id或name下载对应的资源至本地 :param data_id_or_name: :param update: 是否更新缓存 :return:

get_category()

该函数用于查看digit平台分类体系编码与对应的实际含义，[‘storage_type’, ‘data_type’, ‘language’, ‘task_type’, ] :return:

get_data_id()

获取当前下载仓库的 data_id :return: data_id:str

get_resources(api_type: str = 'data', id=None, detail: bool = False)

该函数用于查询digit平台现有资源，返回资源元数据 :param api_type: 使用何种类型的api,api_type 可选{‘data’,’card’,’user’,’account’,’websetting’,’dataid’} :param id: 查询特定资源时用用该资源的id进行查看 :param detail: 是否输出可获取的所有元数据字段 :return: queryset 查询结果

load(data_id_or_name: str, imp_class='DigitData')

该函数用于加载下载的脚本代码中的DigitData类 :return:

Parameters

• data_id_or_name –

• imp_class – 导入类的类型名称

Returns

imp_class_instance 导入类的实例

run()

update_api_token(new_token: str)

new_token: api-token字符串 该方法来自Information类

upload(md_instruction_path, config_path)

digit.data module

class digit.data.Data

Bases: object

delete(data_id_or_name: str)

find_path()

load(data_id_or_name: str, imp_class='DigitData')

run()

upload(md_instruction_path, config_path)

Parameters

• config_file –

• md_instruction_file –

• file_upload –

• kwargs –

Returns

data_id

两种上传方式， 第一种文文件上传，第二种为字典格式上传

digit.data.check_config(config_path, qd)

digit.data.find_py(path)

digit.download module

class digit.download.Download

Bases: object

downlaod 主要就是repo下载 初始化时检查是否存在对应的文件目录 不存在则创建

clean_cache()

clean_cache_by_id(data_id)

download_repo(data_id_or_name: str, update=False)

digit.info module

class digit.info.Information

Bases: object

add_data(data_id)

delete_all_data()

delete_data(data_id)

get_api_token()

query_data(data_id)

update_api_token(new_token)

digit.query module

class digit.query.QueryDigit(api_token='xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx')

Bases: object

get_category()

get_resources(api_type: str, id=None, detail=False)

digit.scripts module

digit.scripts.main()

digit.setting module

Module contents