Como é o caso de muitos termos na computação; a origem da palavra refere-se a mais propriedades físicas. O termo escalar é relativamente antigo na computação. Sua definição é menos rigorosa nos dias de hoje. Quando você armazena dados na memória do computador, esses dados podem caber em um endereço (1 byte *) ou não. Quando isso acontecia, era chamado de escalar, quando não era chamado de composto. Principalmente porque os processadores só podiam manipular um endereço / pedaço de dados (= 1 byte) de cada vez. Como afirmado pelo @Karl Bielefeldt; o termo foi realmente tirado da álgebra.
Nós chamamos uma string de string porque é uma string de caracteres. Um char é / foi um escalar, enquanto uma string é / foi um composto. Armazenar 1 pedaço de dados (um dado) em vários endereços borrou a linha um pouco. Pense assim: quando uma CPU pode processar um dado em uma instrução, ela é escalar.
Hoje em dia, um escalar é qualquer valor singular, e o que é um valor singular pode ser definido de maneira diferente entre diferentes idiomas. integers, floats, chars, strings, booleans e enums são - para os escalares mais considerados atualmente. Matrizes, listas, árvores, objetos, etc. não são.
(* eu digo 1 byte para manter as coisas claras, mas tecnicamente eu estou falando sobre os dias em que 6 bits eram mais comumente usados em cartões perfurados, por exemplo, e depois em fitas magnéticas)
Disclaimer: Eu não consigo encontrar nenhuma referência sobre isso na internet, eu tenho a informação na escola e de livros antigos, entre os quais (eu acho): Tabelas Matemáticas e outras ajudas à computação de 1944. Dito isto, minha memória não é o que costumava ser, então, se alguém puder alterar / confirmar ou negar minha resposta, seria bom.