本文介绍如何将JSON文件导入嬴图数据库。

以下步骤均在Windows系统上PowerShell中演示。
准备JSON文件
点击下载JSON示例文件:
您可将所有文件保存在ultipa-importer
所在目录下。
生成配置文件
打开终端程序,导航至ultipa-importer
所在文件夹。执行以下命令,选择json
,为导入JSON文件生成样本配置文件:
./ultipa-importer --sample

执行命令后,会在ultipa-importer
所在目录下生成配置文件import.sample.json.yml
。如果目录下已有该文件,数据将被覆盖。
修改配置文件
根据实际使用场景修改import.sample.json.yml
文件。该文件包含以下部分:
mode
:设置为json
。server
:提供嬴图服务器信息,并为数据导入指定目标图(新图或已有图)。sftp
:配置存储JSON文件的SFTP服务器。若将文件存储在本地计算机上,请删除此部分或留空。nodeConfig
:定义点schema,其中每个schema对应一个JSON文件。文件中的各列将映射为点属性。edgeConfig
:定义边schema,其中每个schema对应一个JSON文件。文件中的各列将映射为边属性。settings
:为数据导入设置全局参数和偏好。
# 导入模式:csv/json/jsonl/rdf/graphml/bigQuery/sql/kafka/neo4j/salesforce
mode: json
# 嬴图服务器配置
server:
# 主机IP/URI和端口;若为集群,使用英文逗号分隔
host: "10.11.22.33:1234"
username: "admin"
password: "admin12345"
# 目标图(新图或已有图)
graphset: "myGraph"
# 若上图为新图,指定图所在分片
shards: "1,2,3"
# 若上图为新图,指定分片分区算法(Crc32/Crc64WE/Crc64XZ/CityHash64)
partitionBy: "Crc32"
# TLS加密证书文件路径
crt: ""
# SFTP服务器配置
# 若文件保存在本地计算机,请删除此部分或留空
sftp:
# 主机IP/URI和端口
host:
username:
password:
# SFTP的SSH密钥路径(若设置了密钥路径,将不再使用密码)
key:
# 点配置
nodeConfig:
# 指定schema
- schema: "Customer"
# 本地计算机或SFTP上的文件路径
file: "./customer.json"
# properties:将文件中的各列映射为属性;若未设置,将自动映射所有列
## name:文件中的列名;若文件没有标题行,则使用此名称作为属性名
## new_name:属性名;默认为上述名称;属性类型为_id/_from/_to时,属性名自动设置为_id/_from/_to
## type:属性值类型;可设置为_id,_from,_to或其他类型(如int64,float,string等):设置为_ignore时可跳过导入该列
## prefix:为属性值增加前缀;仅适用于_id,_from和_to类型;如果为一个_id添加了前缀,相应的_from和_to要添加相同的前缀
properties:
- name: cust_no
type: _id
prefix:
- name: name
new_name:
type: string
- name: level
new_name:
type: int32
- schema: "Merchant"
file: "./merchant.json"
properties:
- name: merch_no
type: _id
prefix
- name: name
new_name:
type: string
- name: type
new_name:
type: string
# 边配置
edgeConfig:
- schema: "Transfers"
file: "./transaction.json"
# 必须为边指定_from和_to属性
properties:
- name: trans_no
new_name:
type: string
- name: cust_no
type: _from
prefix:
- name: merch_no
type: _to
prefix:
- name: time
new_name:
type: datetime
# 全局设置
settings:
# 日志文件路径
logPath: "./logs"
# 每批次导入的点或边的数量
batchSize: 10000
# 插入模式:insert/overwrite/upsert
importMode: insert
# 插入边时,自动创建缺失端点
createNodeIfNotExist: false
# 报错时停止数据导入
stopWhenError: false
# 设置为true时,自动创建新的图、schema和属性
yes: true
# 最大线程数
threads: 32
# RPC最大消息传输量(单位:MB)
maxPacketSize: 40
# 时间戳对应时区
# 默认时区:"+0200"
# 时间戳单位,支持毫秒(ms)或秒(s)
timestampUnit: s
执行导入
使用--config
标志指定配置文件,执行数据导入:
./ultipa-importer --config import.sample.json.yml
