中之岛图书馆的主楼（中央部分和1号书库）是在1904年（明治37年）住友家第15代继承人住友吉左卫门的捐助下建立的。
设计与住友家的总建筑师野口孙市氏和日高胖氏。
支撑楼正面的科林斯式圆柱使人联想到希腊神殿，圆顶形状的中央大厅使人联想到教堂。
1922年（大正11年），在住友家的捐赠下，日高胖设计与扩建了主馆的左右两翼楼，至到现在的建筑模样。
1974年（昭和49年）,中之岛图书馆主楼与左右两翼楼被指定为国家的重要文化遗产。
（参考文献∶浅野清『大阪府立图书馆的扩建』『大阪府立图书馆期刊』第9号）

正门口上挂着一块横匾，上面从右往左写着「大阪圖書館」。不是「大阪府立」，而是「大阪」图书馆。这表示在中之岛图书馆开馆的1904年（明治37年）以前，大阪图书馆之外，无有一个图书馆存在大阪。

在中央大厅的巨大铜板「建馆捐献记」记图书馆捐献者住友家第15代继承人住友吉左卫门之言。
「我大阪關西雄府，人口百萬，財豐物殷，諸學競興，而圖書館之設獨闕焉・・・某不自揣請獻圖書館一字暨圖書財本，若干資以効微力」

在中央大厅左右的墙边有两座希腊风男子半裸铜雕像。
右边的雕像带着严肃眼神称为「野神像」，表示野性。
在左边盯视着书本的雕像称为「文神像」，表示才智。
雕像是在1922年（大正11年）扩建左右两翼时安置，是雕「长崎平和祈祷男性裸体像」的著名雕刻家北村西望所雕。

「棟札（置札）」是日本建筑在举行「上栋式」时放置在屋内高处的木簡。
上面除了会写神官请来庇佑的神明名讳，还会有工程名称与上樑时间、业主、设计者等与建筑相关的资讯。
　在1903年（明治36年）8月，举行的「上栋式」使用的「棟札」。
在「棟札」的正面上用墨水写着施主住友吉左卫门的名字之外，作为工程顾问辰野金吾博士的名字，设计•监督者野口孙市•日高胖的两个工学学士等的名字。
在「棟札」的背面上写着石匠•砖匠•木匠等的各种的工匠的代表者的名字。

1954年（昭和29年）图书馆成立五十周年的荣誉之时，歌人（歌人是日本传统诗歌形式和歌的创作者）川田顺咏了一首和歌。
刻在图书馆正门旁边的碑。
“Naniwaduno manakaniueshi chienokiwa isotosewohete ookitonarinu。”
“50年前种在大阪中心的一棵知识的树苗已经成长为大树了。”