本文介绍如何将JSONL文件导入嬴图数据库。

以下步骤均在Windows系统上PowerShell中演示。

准备JSONL文件

点击下载JSONL示例文件：

• customer.jsonl
• merchant.jsonl
• transaction.jsonl

您可将所有文件保存在ultipa-importer所在目录下。

生成配置文件

打开终端程序，导航至ultipa-importer所在文件夹。执行以下命令，选择jsonl，为导入JSONL文件生成样本配置文件：

./ultipa-importer --sample

执行命令后，会在ultipa-importer所在目录下生成配置文件import.sample.jsonl.yml。如果目录下已有该文件，数据将被覆盖。

修改配置文件

根据实际使用场景修改import.sample.jsonl.yml文件。该文件包含以下部分：

• mode：设置为jsonl。
• server：提供嬴图服务器信息，并为数据导入指定目标图（新图或已有图）。
• sftp：配置存储JSONL文件的SFTP服务器。若将文件存储在本地计算机上，请删除此部分或留空。
• nodeConfig：定义点schema，其中每个schema对应一个JSONL文件。文件中的各列将映射为点属性。
• edgeConfig：定义边schema，其中每个schema对应一个JSONL文件。文件中的各列将映射为边属性。
• settings：为数据导入设置全局参数和偏好。

# 导入模式：csv/json/jsonl/rdf/graphml/bigQuery/sql/kafka/neo4j/salesforce
mode: jsonl

# 嬴图服务器配置
server:
  # 主机IP/URI和端口；若为集群，使用英文逗号分隔
  host: "10.11.22.33:1234"
  username: "admin"
  password: "admin12345"
  # 目标图（新图或已有图）
  graphset: "myGraph"
  # 若上图为新图，指定图所在分片
  shards: "1,2,3"
  # 若上图为新图，指定分片分区算法（Crc32/Crc64WE/Crc64XZ/CityHash64)
  partitionBy: "Crc32"
  # TLS加密证书文件路径
  crt: ""

# SFTP服务器配置
# 若文件保存在本地计算机，请删除此部分或留空
sftp:
  # 主机IP/URI和端口
  host:
  username:
  password:
  # SFTP的SSH密钥路径（若设置了密钥路径，将不再使用密码）
  key:

# 点配置
nodeConfig:
  # 指定schema
  - schema: "Customer"
    # 本地计算机或SFTP上的文件路径
    file: "./customer.jsonl"
    # properties：将文件中的各列映射为属性；若未设置，将自动映射所有列
    ## name：文件中的列名；若文件没有标题行，则使用此名称作为属性名
    ## new_name：属性名；默认为上述名称；属性类型为_id/_from/_to时，属性名自动设置为_id/_from/_to
    ## type：属性值类型；可设置为_id,_from,_to或其他类型（如int64,float,string等）：设置为_ignore时可跳过导入该列
    ## prefix：为属性值增加前缀；仅适用于_id,_from和_to类型；如果为一个_id添加了前缀，相应的_from和_to要添加相同的前缀
    properties:
      - name: cust_no
        type: _id
        prefix:
      - name: name
        new_name:
        type: string
      - name: level
        new_name:
        type: int32
  - schema: "Merchant"
    file: "./merchant.jsonl"
    properties:
      - name: merch_no
        type: _id
        prefix:
      - name: name
        new_name:
        type: string
      - name: type
        new_name:
        type: string

# 边配置
edgeConfig:
  - schema: "Transfers"
    file: "./transaction.jsonl"
    # 必须为边指定_from和_to属性
    properties:
      - name: trans_no
        new_name:
        type: string
      - name: cust_no
        type: _from
        prefix:
      - name: merch_no
        type: _to
        prefix:
      - name: time
        new_name:
        type: datetime

# 全局设置     
settings:
 # 日志文件路径
  logPath: "./logs"
  # 每批次导入的点或边的数量
  batchSize: 10000
  # 插入模式：insert/overwrite/upsert
  importMode: insert
  # 插入边时，自动创建缺失端点
  createNodeIfNotExist: false
  # 报错时停止数据导入
  stopWhenError: false
  # 设置为true时，自动创建新的图、schema和属性
  yes: true
  # 最大线程数
  threads: 32
  # RPC最大消息传输量（单位：MB）
  maxPacketSize: 40
  # 时间戳对应时区
  # 默认时区："+0200"
  # 时间戳单位，支持毫秒（ms）或秒（s）
  timestampUnit: s

执行导入

使用--config标志指定配置文件，执行数据导入：

./ultipa-importer --config import.sample.jsonl.yml